---
title: "ماڈل ڈسٹلیشن کیا ہے؟ ٹیچر اور اسٹوڈنٹ LLMs | BroadRouter"
description: "ڈسٹلیشن ایک چھوٹے اسٹوڈنٹ ماڈل کو بڑے ٹیچر کی نقل کرنا سکھاتی ہے تاکہ چلانا سستا ہو۔ سافٹ ٹارگٹس کیسے کام کرتے ہیں، ڈسٹلڈ ریزننگ ماڈلز کیسے بنتے ہیں۔"
url: https://broadrouter.com/ur/glossary/distillation/
lang: ur
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/distillation/) (اپ ڈیٹ: 2026-11-16).

# ڈسٹلیشن (knowledge distillation)

اپ ڈیٹ 2026-11-16

ڈسٹلیشن، یا نالج ڈسٹلیشن، تربیت کا وہ طریقہ ہے جس میں ایک چھوٹا اسٹوڈنٹ ماڈل بڑے ٹیچر ماڈل کے آؤٹ پٹ، جیسے اس کی احتمالی تقسیمیں یا بنائے گئے جوابات، دہرانا سیکھتا ہے، تاکہ اسٹوڈنٹ کم لاگت پر چلتے ہوئے ٹیچر کا کافی معیار برقرار رکھے۔

دوسرے نام: ڈسٹلیشن، نالج ڈسٹلیشن، ماڈل ڈسٹلیشن، distillation kya hai، knowledge distillation، model distillation، distilled model، teacher-student training

بڑے ماڈلز چلانا مہنگا ہے۔ ڈسٹلیشن بڑے ماڈل کا علم چھوٹے ماڈل میں منتقل کرتی ہے۔

## یہ کیسے کام کرتی ہے

Hinton، Vinyals اور Dean نے 2015 میں اس کی جدید شکل بیان کی۔ ٹیچر کی آؤٹ پٹ احتمالات اسٹوڈنٹ کے لیے “soft targets” (ترجمہ: نرم اہداف) بن جاتی ہیں۔ سادہ لیبل صرف اتنا کہتا ہے کہ “یہ 7 ہے”۔ ٹیچر کی احتمالات یہ بھی بتاتی ہیں کہ یہ تھوڑا سا 1 جیسا لگتا ہے اور 4 جیسا بالکل نہیں، اور یہ اضافی اشارہ اسٹوڈنٹ کو سیکھنے میں مدد دیتا ہے۔

اسے نمایاں کرنے کے لیے وہ softmax کا [ٹمپریچر](https://broadrouter.com/ur/glossary/temperature/) بڑھاتے ہیں۔ مقالے کے مطابق اونچا T “produces a softer probability distribution over classes” (ترجمہ: کلاسز پر زیادہ نرم احتمالی تقسیم دیتا ہے)۔ ان کے MNIST نتائج:

| ماڈل | ٹیسٹ میں غلطیاں |
| --- | --- |
| بڑا ٹیچر نیٹ | 67 |
| چھوٹا نیٹ، صرف لیبلز پر تربیت | 146 |
| وہی چھوٹا نیٹ، T = 20 پر ڈسٹلڈ | 74 |

LLMs میں ڈسٹلیشن اکثر احتمالات کے بجائے بنائے گئے متن سے ہوتی ہے۔ ٹیچر جوابات لکھتا ہے، اور اسٹوڈنٹ کو ان پر [فائن ٹیون](https://broadrouter.com/ur/glossary/fine-tuning/) کیا جاتا ہے۔ DeepSeek-R1 مقالہ بتاتا ہے کہ بڑے ماڈلز کے ریزننگ پیٹرنز چھوٹے ماڈلز کی رہنمائی کر سکتے ہیں۔ اس کے ماڈل کارڈ میں 1.5B سے 70B پیرامیٹرز تک کے چھ ڈسٹلڈ ماڈلز ہیں، جو Qwen2.5 اور Llama بیسز پر بنے ہیں اور DeepSeek-R1 کے بنائے گئے ریزننگ ڈیٹا پر فائن ٹیون کیے گئے ہیں۔

## یہ کیوں اہم ہے

-   **لاگت اور رفتار۔** چھوٹے ماڈل کو کم GPU میموری چاہیے اور وہ تیزی سے جنریٹ کرتا ہے، جو فی ٹوکن قیمتوں اور تاخیر میں نظر آتا ہے۔
-   **محدود مہارت۔** اسٹوڈنٹ وہاں مضبوط ہے جہاں اسے تربیت دی گئی، باقی جگہوں پر کمزور۔ ٹیچر کے بینچ مارک پر بھروسہ کرنے کے بجائے اپنے کاموں پر ٹیسٹ کریں۔
-   **تہہ در تہہ۔** سیلف ہوسٹڈ سیٹ اپس میں ڈسٹلیشن [کوانٹائزیشن](https://broadrouter.com/ur/glossary/quantization/) اور [LoRA](https://broadrouter.com/ur/glossary/lora/) کے ساتھ جڑتی ہے۔
-   **لائسنسنگ۔** ٹیچر کا لائسنس یا API کی شرائط طے کرتی ہیں کہ آپ اس کے آؤٹ پٹ پر تربیت کر سکتے ہیں یا نہیں۔

## BroadNet Inference پر

BroadNet کا [API حوالہ](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-distillation&utm_content=body#models) نہیں بتاتا کہ اس کا کوئی ماڈل ڈسٹلڈ ہے یا نہیں، اس لیے یہ فرض نہ کریں۔ ماڈلز کے درمیان قیمت کا فرق ضرور دکھاتا ہے کہ چھوٹے ماڈلز کیوں اہم ہیں: BroadNet Gemma 4 VL 26B کی قیمت فی 1M آؤٹ پٹ ٹوکن $0.22 ہے، جبکہ GLM 5.3 کی $3.46۔ چھوٹا ماڈل کافی اچھا ہے یا نہیں، یہ آپ کی اپنی eval سے طے ہو گا۔ [کوڈنگ ایجنٹس کے لیے بہترین اوپن ماڈل](https://broadrouter.com/ur/blog/best-open-model-for-coding-agents/) والی پوسٹ آپشنز کا کام کے لحاظ سے موازنہ کرتی ہے۔

## عام سوالات

### ڈسٹلیشن اور کوانٹائزیشن میں کیا فرق ہے؟

ڈسٹلیشن ایک نیا، چھوٹا ماڈل تربیت دیتی ہے۔ کوانٹائزیشن وہی ماڈل رکھتی ہے اور اس کے ویٹس کم پریسیژن میں محفوظ کرتی ہے۔ دونوں انفرینس سستا کرتی ہیں، اور دونوں کو ملایا جا سکتا ہے۔

### کیا ڈسٹلڈ ماڈل ٹیچر جتنا اچھا ہوتا ہے؟

عموماً ہر کام پر نہیں، لیکن جن کاموں کے لیے اسے ڈسٹل کیا گیا ان پر یہ قریب پہنچ سکتا ہے۔ Hinton، Vinyals اور Dean کے MNIST ٹیسٹ میں ڈسٹلڈ چھوٹے نیٹ نے 74 غلطیاں کیں جبکہ ٹیچر نے 67۔

### کیا کسی دوسرے فراہم کنندہ کا ماڈل ڈسٹل کرنے کی اجازت ہے؟

ٹیچر ماڈل کے آؤٹ پٹ پر تربیت سے پہلے اس کا لائسنس یا API کی شرائط پڑھیں۔ اس نکتے پر وہ مختلف ہیں، اور کچھ اس پر پابندی لگاتی ہیں۔

## یہ بھی دیکھیں

-   [فائن ٹیوننگ (fine-tuning)](https://broadrouter.com/ur/glossary/fine-tuning/) (اصطلاح)
-   [LoRA (low-rank adaptation)](https://broadrouter.com/ur/glossary/lora/) (اصطلاح)
-   [کوانٹائزیشن (quantization)](https://broadrouter.com/ur/glossary/quantization/) (اصطلاح)
-   [ٹمپریچر (temperature)](https://broadrouter.com/ur/glossary/temperature/) (اصطلاح)
-   [اوپن ویٹ ماڈل (open-weight model)](https://broadrouter.com/ur/glossary/open-weight-model/) (اصطلاح)
-   [ریزننگ ماڈل خالی جواب کیوں لوٹاتا ہے](https://broadrouter.com/ur/guides/reasoning-tokens-empty-response/) (گائیڈ)
-   [کاروبار کے لیے open-weight بمقابلہ closed AI ماڈلز: لاگت، کنٹرول، خطرہ](https://broadrouter.com/ur/blog/open-weight-vs-closed-models/) (مضمون)
-   [کوڈنگ ایجنٹس کے لیے بہترین اوپن ماڈل: ٹولز، کانٹیکسٹ اور لاگت](https://broadrouter.com/ur/blog/best-open-model-for-coding-agents/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-distillation&utm_content=page-cta) ·

**ذرائع**

-   [Hinton، Vinyals اور Dean (2015)، Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI (2025)، DeepSeek-R1 مقالہ](https://arxiv.org/abs/2501.12948)
-   [Hugging Face پر DeepSeek-R1 ماڈل کارڈ (ڈسٹلڈ ماڈلز)](https://huggingface.co/deepseek-ai/DeepSeek-R1)
