BroadRouter
شروع کریں

ڈسٹلیشن (knowledge distillation)

اپ ڈیٹ

ڈسٹلیشن، یا نالج ڈسٹلیشن، تربیت کا وہ طریقہ ہے جس میں ایک چھوٹا اسٹوڈنٹ ماڈل بڑے ٹیچر ماڈل کے آؤٹ پٹ، جیسے اس کی احتمالی تقسیمیں یا بنائے گئے جوابات، دہرانا سیکھتا ہے، تاکہ اسٹوڈنٹ کم لاگت پر چلتے ہوئے ٹیچر کا کافی معیار برقرار رکھے۔

دوسرے نام: ڈسٹلیشن، نالج ڈسٹلیشن، ماڈل ڈسٹلیشن، distillation kya hai، knowledge distillation، model distillation، distilled model، teacher-student training

بڑے ماڈلز چلانا مہنگا ہے۔ ڈسٹلیشن بڑے ماڈل کا علم چھوٹے ماڈل میں منتقل کرتی ہے۔

یہ کیسے کام کرتی ہے

Hinton، Vinyals اور Dean نے 2015 میں اس کی جدید شکل بیان کی۔ ٹیچر کی آؤٹ پٹ احتمالات اسٹوڈنٹ کے لیے “soft targets” (ترجمہ: نرم اہداف) بن جاتی ہیں۔ سادہ لیبل صرف اتنا کہتا ہے کہ “یہ 7 ہے”۔ ٹیچر کی احتمالات یہ بھی بتاتی ہیں کہ یہ تھوڑا سا 1 جیسا لگتا ہے اور 4 جیسا بالکل نہیں، اور یہ اضافی اشارہ اسٹوڈنٹ کو سیکھنے میں مدد دیتا ہے۔

اسے نمایاں کرنے کے لیے وہ softmax کا ٹمپریچر بڑھاتے ہیں۔ مقالے کے مطابق اونچا T “produces a softer probability distribution over classes” (ترجمہ: کلاسز پر زیادہ نرم احتمالی تقسیم دیتا ہے)۔ ان کے MNIST نتائج:

ماڈل ٹیسٹ میں غلطیاں
بڑا ٹیچر نیٹ 67
چھوٹا نیٹ، صرف لیبلز پر تربیت 146
وہی چھوٹا نیٹ، T = 20 پر ڈسٹلڈ 74

LLMs میں ڈسٹلیشن اکثر احتمالات کے بجائے بنائے گئے متن سے ہوتی ہے۔ ٹیچر جوابات لکھتا ہے، اور اسٹوڈنٹ کو ان پر فائن ٹیون کیا جاتا ہے۔ DeepSeek-R1 مقالہ بتاتا ہے کہ بڑے ماڈلز کے ریزننگ پیٹرنز چھوٹے ماڈلز کی رہنمائی کر سکتے ہیں۔ اس کے ماڈل کارڈ میں 1.5B سے 70B پیرامیٹرز تک کے چھ ڈسٹلڈ ماڈلز ہیں، جو Qwen2.5 اور Llama بیسز پر بنے ہیں اور DeepSeek-R1 کے بنائے گئے ریزننگ ڈیٹا پر فائن ٹیون کیے گئے ہیں۔

یہ کیوں اہم ہے

  • لاگت اور رفتار۔ چھوٹے ماڈل کو کم GPU میموری چاہیے اور وہ تیزی سے جنریٹ کرتا ہے، جو فی ٹوکن قیمتوں اور تاخیر میں نظر آتا ہے۔
  • محدود مہارت۔ اسٹوڈنٹ وہاں مضبوط ہے جہاں اسے تربیت دی گئی، باقی جگہوں پر کمزور۔ ٹیچر کے بینچ مارک پر بھروسہ کرنے کے بجائے اپنے کاموں پر ٹیسٹ کریں۔
  • تہہ در تہہ۔ سیلف ہوسٹڈ سیٹ اپس میں ڈسٹلیشن کوانٹائزیشن اور LoRA کے ساتھ جڑتی ہے۔
  • لائسنسنگ۔ ٹیچر کا لائسنس یا API کی شرائط طے کرتی ہیں کہ آپ اس کے آؤٹ پٹ پر تربیت کر سکتے ہیں یا نہیں۔

BroadNet Inference پر

BroadNet کا API حوالہ نہیں بتاتا کہ اس کا کوئی ماڈل ڈسٹلڈ ہے یا نہیں، اس لیے یہ فرض نہ کریں۔ ماڈلز کے درمیان قیمت کا فرق ضرور دکھاتا ہے کہ چھوٹے ماڈلز کیوں اہم ہیں: BroadNet Gemma 4 VL 26B کی قیمت فی 1M آؤٹ پٹ ٹوکن $0.22 ہے، جبکہ GLM 5.3 کی $3.46۔ چھوٹا ماڈل کافی اچھا ہے یا نہیں، یہ آپ کی اپنی eval سے طے ہو گا۔ کوڈنگ ایجنٹس کے لیے بہترین اوپن ماڈل والی پوسٹ آپشنز کا کام کے لحاظ سے موازنہ کرتی ہے۔

عام سوالات

ڈسٹلیشن اور کوانٹائزیشن میں کیا فرق ہے؟

ڈسٹلیشن ایک نیا، چھوٹا ماڈل تربیت دیتی ہے۔ کوانٹائزیشن وہی ماڈل رکھتی ہے اور اس کے ویٹس کم پریسیژن میں محفوظ کرتی ہے۔ دونوں انفرینس سستا کرتی ہیں، اور دونوں کو ملایا جا سکتا ہے۔

کیا ڈسٹلڈ ماڈل ٹیچر جتنا اچھا ہوتا ہے؟

عموماً ہر کام پر نہیں، لیکن جن کاموں کے لیے اسے ڈسٹل کیا گیا ان پر یہ قریب پہنچ سکتا ہے۔ Hinton، Vinyals اور Dean کے MNIST ٹیسٹ میں ڈسٹلڈ چھوٹے نیٹ نے 74 غلطیاں کیں جبکہ ٹیچر نے 67۔

کیا کسی دوسرے فراہم کنندہ کا ماڈل ڈسٹل کرنے کی اجازت ہے؟

ٹیچر ماڈل کے آؤٹ پٹ پر تربیت سے پہلے اس کا لائسنس یا API کی شرائط پڑھیں۔ اس نکتے پر وہ مختلف ہیں، اور کچھ اس پر پابندی لگاتی ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں