बड़े मॉडल चलाना महँगा है। डिस्टिलेशन बड़े मॉडल की जानकारी छोटे मॉडल में ले आता है।
यह कैसे काम करता है
Hinton, Vinyals और Dean ने 2015 में इसका आधुनिक रूप बताया। टीचर की आउटपुट प्रायिकताएँ स्टूडेंट के लिए “soft targets” (अनुवाद: सॉफ़्ट टारगेट) बन जाती हैं। सादा लेबल सिर्फ़ इतना कहता है कि “यह 7 है”। टीचर की प्रायिकताएँ यह भी बताती हैं कि यह थोड़ा-सा 1 जैसा दिखता है और 4 जैसा बिल्कुल नहीं, और यह अतिरिक्त संकेत स्टूडेंट को सीखने में मदद करता है।
इसे उभारने के लिए वे softmax का टेम्परेचर बढ़ाते हैं। पेपर के अनुसार ऊँचा T “produces a softer probability distribution over classes” (अनुवाद: क्लास पर ज़्यादा नरम प्रायिकता वितरण देता है)। उनके MNIST नतीजे:
| मॉडल | टेस्ट में ग़लतियाँ |
|---|---|
| बड़ा टीचर नेट | 67 |
| छोटा नेट, सिर्फ़ लेबल पर ट्रेन | 146 |
| वही छोटा नेट, T = 20 पर डिस्टिल्ड | 74 |
LLM में डिस्टिलेशन अक्सर प्रायिकताओं के बजाय जनरेट किए टेक्स्ट से होता है। टीचर जवाब लिखता है, और स्टूडेंट को उन पर फ़ाइन-ट्यून किया जाता है। DeepSeek-R1 पेपर बताता है कि बड़े मॉडल के रीज़निंग पैटर्न छोटे मॉडल को राह दिखा सकते हैं। इसके मॉडल कार्ड में 1.5B से 70B पैरामीटर तक के छह डिस्टिल्ड मॉडल हैं, जो Qwen2.5 और Llama बेस पर बने हैं और DeepSeek-R1 के जनरेट किए रीज़निंग डेटा पर फ़ाइन-ट्यून किए गए हैं।
यह क्यों मायने रखता है
- लागत और रफ़्तार. छोटे मॉडल को कम GPU मेमोरी चाहिए और वह तेज़ी से जनरेट करता है, जो प्रति-टोकन कीमतों और लेटेंसी में दिखता है।
- सीमित हुनर. स्टूडेंट वहाँ मज़बूत है जहाँ उसे ट्रेन किया गया, बाक़ी जगह कमज़ोर। टीचर के बेंचमार्क पर भरोसा करने के बजाय अपने कामों पर टेस्ट करें।
- एक के ऊपर एक. सेल्फ़-होस्टेड सेटअप में डिस्टिलेशन क्वांटाइज़ेशन और LoRA के साथ जुड़ता है।
- लाइसेंस. टीचर का लाइसेंस या API की शर्तें तय करती हैं कि आप उसके आउटपुट पर ट्रेन कर सकते हैं या नहीं।
BroadNet Inference पर
BroadNet का API रेफ़रंस नहीं बताता कि उसका कोई मॉडल डिस्टिल्ड है या नहीं, इसलिए ऐसा मानकर न चलें। मॉडल के बीच कीमत का अंतर ज़रूर दिखाता है कि छोटे मॉडल क्यों मायने रखते हैं: BroadNet Gemma 4 VL 26B की कीमत प्रति 1M आउटपुट टोकन $0.22 है, जबकि GLM 5.3 की $3.46। छोटा मॉडल काफ़ी अच्छा है या नहीं, यह आपके अपने eval से तय होगा। कोडिंग एजेंट के लिए सबसे अच्छा ओपन मॉडल वाली पोस्ट विकल्पों की तुलना काम के हिसाब से करती है।