پرامپٹنگ ماڈل کو ہر بار بتاتی ہے کہ کیا کرنا ہے۔ فائن ٹیوننگ ماڈل کو ایسا بدل دیتی ہے کہ وہ پہلے سے جانتا ہو۔
یہ کیسے کام کرتی ہے
آپ ایک تربیت یافتہ ماڈل سے شروع کرتے ہیں اور اپنی مثالوں پر مزید تربیت چلاتے ہیں۔ سپروائزڈ فائن ٹیوننگ (SFT) میں ہر مثال ایک گفتگو ہوتی ہے جس میں وہ جواب ہوتا ہے جو آپ چاہتے ہیں۔ OpenAI کی گائیڈ چیٹ فارمیٹ میں JSONL استعمال کرتی ہے، “one complete JSON structure on every line” (ترجمہ: ہر سطر پر ایک مکمل JSON ڈھانچہ):
{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}
ٹریننگ جاب ویٹس کو اس طرح بدلتا ہے کہ وہ جوابات زیادہ ممکن ہو جائیں، اور ایک نئی ماڈل ID لوٹاتا ہے۔ OpenAI کم از کم 10 مثالیں مقرر کرتا ہے اور 50 سے شروع کر کے، مزید شامل کرنے سے پہلے جانچنے کی سفارش کرتا ہے۔
مکمل فائن ٹیوننگ ہر ویٹ اپ ڈیٹ کرتی ہے، جو بڑے ماڈلز کے لیے مہنگا ہے۔ Hu اور ساتھیوں کا LoRA مقالہ GPT-3 کی الگ الگ فائن ٹیون شدہ کاپیاں، “each with 175B parameters” (ترجمہ: ہر ایک میں 175B پیرامیٹرز)، ڈیپلائے کرنا حد سے زیادہ مہنگا قرار دیتا ہے۔ LoRA جیسے پیرامیٹر کے لحاظ سے مؤثر طریقے اس کے بجائے ایک چھوٹا ایڈ آن تربیت دیتے ہیں۔ ڈسٹلیشن ایک متعلقہ خیال ہے: چھوٹے ماڈل کو بڑے ماڈل کے آؤٹ پٹ پر فائن ٹیون کرنا۔
یہ کیوں اہم ہے
- چھوٹے پرامپٹس۔ جو رویہ لمبے فیو شاٹ پرامپٹ سے آتا تھا وہ ویٹس میں جا سکتا ہے، جس سے ہر کال کے ان پٹ ٹوکن کم ہوتے ہیں۔
- یکسانیت۔ اچھے استعمال یہ ہیں: کلاسیفکیشن، مقررہ آؤٹ پٹ انداز، کسی شعبے کا ترجمہ، اور ہدایات نہ ماننے کی غلطیاں درست کرنا۔
- دیکھ بھال۔ ٹیون شدہ ماڈل ایک بیس ماڈل سے بندھا ہوتا ہے۔ بیس ریٹائر ہوا تو دوبارہ تربیت کرنی ہو گی۔ OpenAI کی گائیڈ اب کہتی ہے کہ وہ اپنا فائن ٹیوننگ پلیٹ فارم بتدریج بند کر رہا ہے، نئے صارفین کے لیے بند ہے، اور ٹیون شدہ ماڈلز تب تک چلیں گے جب تک ان کے بیس ماڈلز بند نہ ہوں۔
- پہلے پیمائش۔ تربیت سے پہلے eval بنائیں، ورنہ آپ نہیں بتا سکیں گے کہ ٹیون شدہ ماڈل بہتر ہے یا نہیں۔
بدلتے حقائق شامل کرنے کے لیے فائن ٹیوننگ اچھا طریقہ نہیں۔ ریٹریول انہیں تازہ رکھتا ہے۔
BroadNet Inference پر
BroadNet کا API حوالہ فائن ٹیوننگ API، ٹریننگ جابز یا اپنے ویٹس اپ لوڈ کرنے کا کوئی طریقہ بیان نہیں کرتا۔ وہ یہ ضرور کہتا ہے کہ “our Arabic fine-tunes and other models on request” (ترجمہ: ہمارے عربی فائن ٹیونز اور درخواست پر دیگر ماڈلز) اینڈپوائنٹ کے ساتھ جاری کی گئی پرائیویٹ ماڈل ID سے ملتے ہیں۔ BroadNet درخواست پر ایسا ایک ماڈل درج کرتا ہے: شور والی آڈیو میں نمبرز، تاریخوں اور ناموں کے لیے Cohere Transcribe Arabic کا ایک فائن ٹیون۔ عوامی عربی ٹرانسکرپشن ماڈل کے لیے عربی اسپیچ ٹو ٹیکسٹ گائیڈ دیکھیں۔ اگر آپ کو اپنا ماڈل تربیت دینا ہے تو عموماً آغاز کسی اوپن ویٹ ماڈل سے ہوتا ہے؛ فوائد اور نقصانات اوپن ویٹ بمقابلہ کلوزڈ ماڈلز میں ہیں۔