LoRA ने पूरे मॉडल के बजाय एक छोटा सुधार ट्रेन करके बड़े मॉडल की fine-tuning को आम हार्डवेयर पर व्यावहारिक बना दिया।
यह कैसे काम करता है
Hu और साथियों ने देखा कि fine-tuning किसी weight matrix में जो बदलाव करती है, उसकी rank अक्सर कम होती है। इसलिए LoRA मूल matrix W₀ को जमा रखता है और बदलाव को दो पतली मैट्रिक्स के गुणनफल के रूप में सीखता है:
W = W₀ + BA, जहाँ B का साइज़ d × r है, A का r × k है, और r, d या k से बहुत छोटा है।
B शून्य से शुरू होता है, इसलिए ट्रेनिंग बिना बदले मॉडल से शुरू होती है। पेपर ने LoRA ज़्यादातर attention की query और value projections पर लगाया।
पैरामीटर की बचत गिनना आसान है। एक 4,096 × 4,096 matrix के लिए:
| पैरामीटर | |
|---|---|
| पूरा बदलाव | 4,096 × 4,096 = 16,777,216 |
| LoRA, r = 8 | 8 × (4,096 + 4,096) = 65,536 |
यह पूरी गिनती का लगभग 0.4% है। GPT-3 175B पर पेपर 10,000 गुना कम ट्रेन होने वाले पैरामीटर, GPU मेमोरी में 3× कटौती, और चेकपॉइंट का लगभग 350 GB से घटकर लगभग 35 MB होना बताता है।
यह क्यों मायने रखता है
- सस्ती ट्रेनिंग. कम ट्रेन होने वाले weights का मतलब optimiser state के लिए कम मेमोरी। जमे हुए बेस के क्वांटाइज़ेशन के साथ, बड़े मॉडल छोटे GPU पर समा जाते हैं।
- कोई अतिरिक्त latency नहीं. Hugging Face की PEFT गाइड बताती है कि adapters को
merge_and_unload()से मिलाया जा सकता है, इसलिए सर्विंग की लागत बेस मॉडल जितनी ही रहती है। - कई टास्क, एक बेस. क्योंकि बेस जमा रहता है, आप किसी ओपन-वेट मॉडल की एक कॉपी रखकर हर ग्राहक या टास्क के लिए छोटे adapters बदल सकते हैं।
- सीमाएँ. LoRA बर्ताव और शैली अच्छी तरह बदलता है। फिर भी यह fine-tuning ही है, इसलिए इसे अच्छा डेटा और एक eval चाहिए।
BroadNet Inference पर
BroadNet का API रेफ़रंस LoRA, adapter अपलोड या हर अनुरोध पर adapter चुनने को दर्ज नहीं करता। आप broadnet/qwen3.8-27b जैसी तय मॉडल ID कॉल करते हैं। प्राइवेट endpoint और BroadNet के अरबी fine-tune अनुरोध पर मिलते हैं, लेकिन डॉक्स यह नहीं बताते कि वे कैसे ट्रेन हुए। अगर आप ख़ुद adapters ट्रेन करने की सोच रहे हैं, तो सेल्फ़-होस्टिंग बनाम API वाली पोस्ट से API कीमतों से तुलना करें, और अगर दोनों चलाते हैं, तो LiteLLM जैसा राउटर ट्रैफ़िक दोनों में से किसी को भी भेज सकता है।