प्रॉम्प्टिंग मॉडल को हर बार बताती है कि क्या करना है। फ़ाइन-ट्यूनिंग मॉडल को ऐसा बदल देती है कि वह पहले से जानता हो।
यह कैसे काम करती है
आप एक ट्रेन हुए मॉडल से शुरू करते हैं और अपने उदाहरणों पर और ट्रेनिंग चलाते हैं। सुपरवाइज़्ड फ़ाइन-ट्यूनिंग (SFT) में हर उदाहरण एक बातचीत होता है जिसमें वह जवाब होता है जो आप चाहते हैं। OpenAI की गाइड चैट फ़ॉर्मैट में JSONL इस्तेमाल करती है, “one complete JSON structure on every line” (अनुवाद: हर लाइन पर एक पूरा JSON ढाँचा):
{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}
ट्रेनिंग जॉब वेट को ऐसे बदलता है कि वे जवाब ज़्यादा संभावित हो जाएँ, और एक नया मॉडल ID लौटाता है। OpenAI न्यूनतम 10 उदाहरण तय करता है और 50 से शुरू करके, और जोड़ने से पहले इवैल्यूएट करने की सलाह देता है।
फ़ुल फ़ाइन-ट्यूनिंग हर वेट अपडेट करती है, जो बड़े मॉडल के लिए महँगा है। Hu और साथियों का LoRA पेपर GPT-3 की अलग-अलग फ़ाइन-ट्यून की गई कॉपियाँ, “each with 175B parameters” (अनुवाद: हर एक में 175B पैरामीटर), डिप्लॉय करना बेहद महँगा बताता है। LoRA जैसे पैरामीटर-कुशल तरीक़े इसके बजाय एक छोटा ऐड-ऑन ट्रेन करते हैं। डिस्टिलेशन एक जुड़ा हुआ विचार है: छोटे मॉडल को बड़े मॉडल के आउटपुट पर फ़ाइन-ट्यून करना।
यह क्यों मायने रखती है
- छोटे प्रॉम्प्ट. जो व्यवहार लंबे फ़्यू-शॉट प्रॉम्प्ट से आता था, वह वेट में जा सकता है, जिससे हर कॉल के इनपुट टोकन घटते हैं।
- एकरूपता. अच्छे इस्तेमाल हैं: क्लासिफ़िकेशन, तय आउटपुट स्टाइल, किसी क्षेत्र का अनुवाद, और निर्देश न मानने की ग़लतियाँ सुधारना।
- रखरखाव. ट्यून किया मॉडल एक बेस मॉडल से बँधा होता है। बेस रिटायर हुआ, तो दोबारा ट्रेन करना होगा। OpenAI की गाइड अब कहती है कि वह अपना फ़ाइन-ट्यूनिंग प्लेटफ़ॉर्म धीरे-धीरे बंद कर रहा है, नए यूज़र के लिए बंद है, और ट्यून किए मॉडल तब तक चलेंगे जब तक उनके बेस मॉडल बंद न हों।
- पहले माप. ट्रेनिंग से पहले eval बनाएँ, वरना आप नहीं बता पाएँगे कि ट्यून किया मॉडल बेहतर है या नहीं।
बदलते तथ्य जोड़ने के लिए फ़ाइन-ट्यूनिंग अच्छा तरीक़ा नहीं है। रिट्रीवल उन्हें ताज़ा रखता है।
BroadNet Inference पर
BroadNet का API रेफ़रंस फ़ाइन-ट्यूनिंग API, ट्रेनिंग जॉब या अपने वेट अपलोड करने का कोई तरीक़ा नहीं बताता। वह यह ज़रूर कहता है कि “our Arabic fine-tunes and other models on request” (अनुवाद: हमारे अरबी फ़ाइन-ट्यून और अनुरोध पर दूसरे मॉडल) एंडपॉइंट के साथ जारी किए प्राइवेट मॉडल ID से मिलते हैं। BroadNet अनुरोध पर ऐसा एक मॉडल बताता है: शोर वाले ऑडियो में नंबर, तारीख़ और नाम के लिए Cohere Transcribe Arabic का एक फ़ाइन-ट्यून। सार्वजनिक अरबी ट्रांसक्रिप्शन मॉडल के लिए अरबी स्पीच-टू-टेक्स्ट गाइड देखें। अगर आपको अपना मॉडल ट्रेन करना है, तो आम तौर पर शुरुआत किसी ओपन-वेट मॉडल से होती है; फ़ायदे-नुक़सान ओपन-वेट बनाम क्लोज़्ड मॉडल में हैं।