---
title: "LoRA क्या है? LLM fine-tuning के लिए low-rank adaptation"
description: "LoRA जमे weights के साथ दो छोटी low-rank मैट्रिक्स ट्रेन करके LLM को fine-tune करता है। यह कैसे काम करता है, पैरामीटर का हिसाब, और यह latency क्यों नहीं बढ़ाता।"
url: https://broadrouter.com/hi/glossary/lora/
lang: hi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/lora/) (2026-11-14 को अपडेट किया गया).

# LoRA (low-rank adaptation)

अपडेट किया गया 2026-11-14

LoRA (low-rank adaptation) एक पैरामीटर-कुशल fine-tuning तरीक़ा है जो पहले से ट्रेन हुए मॉडल के weights को जमा (freeze) देता है और चुनी हुई layers के लिए छोटी low-rank मैट्रिक्स की एक जोड़ी ट्रेन करता है। सीखा गया बदलाव छोटे adapter के रूप में रखा जा सकता है या weights में मिलाया जा सकता है, बिना इन्फ़रेंस latency बढ़ाए।

अन्य नाम: लोरा, LoRA adapter, LoRA fine-tuning, lora kya hai, lora fine tuning kya hai, LoRA, low-rank adaptation

LoRA ने पूरे मॉडल के बजाय एक छोटा सुधार ट्रेन करके बड़े मॉडल की fine-tuning को आम हार्डवेयर पर व्यावहारिक बना दिया।

## यह कैसे काम करता है

Hu और साथियों ने देखा कि fine-tuning किसी weight matrix में जो बदलाव करती है, उसकी rank अक्सर कम होती है। इसलिए LoRA मूल matrix W₀ को जमा रखता है और बदलाव को दो पतली मैट्रिक्स के गुणनफल के रूप में सीखता है:

W = W₀ + BA, जहाँ B का साइज़ d × r है, A का r × k है, और r, d या k से बहुत छोटा है।

B शून्य से शुरू होता है, इसलिए ट्रेनिंग बिना बदले मॉडल से शुरू होती है। पेपर ने LoRA ज़्यादातर attention की query और value projections पर लगाया।

पैरामीटर की बचत गिनना आसान है। एक 4,096 × 4,096 matrix के लिए:

|  | पैरामीटर |
| --- | --- |
| पूरा बदलाव | 4,096 × 4,096 = 16,777,216 |
| LoRA, r = 8 | 8 × (4,096 + 4,096) = 65,536 |

यह पूरी गिनती का लगभग 0.4% है। GPT-3 175B पर पेपर 10,000 गुना कम ट्रेन होने वाले पैरामीटर, GPU मेमोरी में 3× कटौती, और चेकपॉइंट का लगभग 350 GB से घटकर लगभग 35 MB होना बताता है।

## यह क्यों मायने रखता है

-   **सस्ती ट्रेनिंग.** कम ट्रेन होने वाले weights का मतलब optimiser state के लिए कम मेमोरी। जमे हुए बेस के [क्वांटाइज़ेशन](https://broadrouter.com/hi/glossary/quantization/) के साथ, बड़े मॉडल छोटे GPU पर समा जाते हैं।
-   **कोई अतिरिक्त latency नहीं.** Hugging Face की PEFT गाइड बताती है कि adapters को `merge_and_unload()` से मिलाया जा सकता है, इसलिए सर्विंग की लागत बेस मॉडल जितनी ही रहती है।
-   **कई टास्क, एक बेस.** क्योंकि बेस जमा रहता है, आप किसी [ओपन-वेट मॉडल](https://broadrouter.com/hi/glossary/open-weight-model/) की एक कॉपी रखकर हर ग्राहक या टास्क के लिए छोटे adapters बदल सकते हैं।
-   **सीमाएँ.** LoRA बर्ताव और शैली अच्छी तरह बदलता है। फिर भी यह [fine-tuning](https://broadrouter.com/hi/glossary/fine-tuning/) ही है, इसलिए इसे अच्छा डेटा और एक eval चाहिए।

## BroadNet Inference पर

BroadNet का [API रेफ़रंस](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-lora&utm_content=body#models) LoRA, adapter अपलोड या हर अनुरोध पर adapter चुनने को दर्ज नहीं करता। आप `broadnet/qwen3.8-27b` जैसी तय मॉडल ID कॉल करते हैं। प्राइवेट endpoint और BroadNet के अरबी fine-tune अनुरोध पर मिलते हैं, लेकिन डॉक्स यह नहीं बताते कि वे कैसे ट्रेन हुए। अगर आप ख़ुद adapters ट्रेन करने की सोच रहे हैं, तो [सेल्फ़-होस्टिंग बनाम API](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) वाली पोस्ट से API कीमतों से तुलना करें, और अगर दोनों चलाते हैं, तो [LiteLLM](https://broadrouter.com/hi/guides/litellm-proxy-custom-provider/) जैसा राउटर ट्रैफ़िक दोनों में से किसी को भी भेज सकता है।

## अक्सर पूछे जाने वाले सवाल

### LoRA में rank r का क्या मतलब है?

यह दोनों छोटी मैट्रिक्स का अंदरूनी साइज़ है। कम rank का मतलब कम ट्रेन होने वाले पैरामीटर और छोटा adapter। LoRA पेपर बताता है कि GPT-3 175B पर 1 या 2 जितनी कम rank भी अच्छी चली।

### क्या LoRA पूरी fine-tuning जितना अच्छा है?

LoRA पेपर RoBERTa, DeBERTa, GPT-2 और GPT-3 पर "on-par or better than fine-tuning" (अनुवाद: fine-tuning के बराबर या बेहतर) क्वालिटी बताता है, बहुत कम ट्रेन होने वाले पैरामीटर के साथ। इसे अपने टास्क पर टेस्ट करें।

### क्या मैं BroadNet Inference पर LoRA adapter अपलोड कर सकता हूँ?

BroadNet के डॉक्स adapter अपलोड के बारे में कुछ नहीं बताते। प्राइवेट endpoint और BroadNet के अपने fine-tune अनुरोध पर मिलते हैं।

## यह भी देखें

-   [फ़ाइन-ट्यूनिंग (fine-tuning)](https://broadrouter.com/hi/glossary/fine-tuning/) (शब्द)
-   [क्वांटाइज़ेशन (quantization)](https://broadrouter.com/hi/glossary/quantization/) (शब्द)
-   [ओपन-वेट मॉडल (open-weight model)](https://broadrouter.com/hi/glossary/open-weight-model/) (शब्द)
-   [डिस्टिलेशन (knowledge distillation)](https://broadrouter.com/hi/glossary/distillation/) (शब्द)
-   [LiteLLM को BroadNet Inference पर रूट करें (SDK और प्रॉक्सी)](https://broadrouter.com/hi/guides/litellm-proxy-custom-provider/) (गाइड)
-   [LLM सेल्फ़-होस्ट करें या API लें: असली लागत और ब्रेक-ईवन](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) (लेख)
-   [बिज़नेस के लिए open-weight बनाम closed AI मॉडल: लागत, नियंत्रण, जोखिम](https://broadrouter.com/hi/blog/open-weight-vs-closed-models/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-lora&utm_content=page-cta) ·

**स्रोत**

-   [Hu और साथी (2021), LoRA - Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)
-   [Hugging Face PEFT, LoRA की अवधारणा गाइड](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)
-   [BroadNet Inference API रेफ़रंस, मॉडल ID (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-lora&utm_content=sources#models)
