RAG मॉडल को खुली किताब देता है: जवाब देने से पहले आपका कोड काम के पन्ने ढूँढकर प्रॉम्प्ट में रख देता है।
यह कैसे काम करता है
यह शब्द Lewis और साथियों (2020) से आया है। उन्होंने एक जनरेटर मॉडल (“parametric memory”, अनुवाद: पैरामीट्रिक मेमोरी) को “a dense vector index of Wikipedia” (अनुवाद: Wikipedia का एक डेंस वेक्टर इंडेक्स) (“non-parametric memory”, अनुवाद: नॉन-पैरामीट्रिक मेमोरी) के साथ जोड़ा, जिस तक एक न्यूरल retriever से पहुँचा जाता था, और ओपन-डोमेन सवाल-जवाब पर उन मॉडल से बेहतर नतीजे बताए जो सिर्फ़ अपने weights पर निर्भर थे।
LLM API के साथ आज की RAG पाइपलाइन आम तौर पर ऐसी दिखती है:
- इंडेक्स. दस्तावेज़ों को टुकड़ों (chunks) में बाँटें, हर टुकड़े को embeddings में बदलें और वेक्टर डेटाबेस में रखें, अक्सर एक कीवर्ड इंडेक्स के साथ।
- निकालें (retrieve). यूज़र के सवाल का embedding बनाएँ और सबसे मिलते-जुलते टुकड़े निकालें, मान लीजिए 5 से 20।
- जनरेट करें. इन टुकड़ों को प्रॉम्प्ट में रखें, साथ में निर्देश दें कि जवाब सिर्फ़ इन्हीं से दे और इनका हवाला दे। फिर इसे चैट मॉडल को भेजें।
मॉडल ख़ुद कभी सर्च नहीं करता। retrieval की क्वालिटी ही छत तय करती है: सही हिस्सा निकला ही नहीं, तो मॉडल उसे इस्तेमाल नहीं कर सकता।
यह क्यों मायने रखता है
- ताज़ा जानकारी. मॉडल के weights उसकी ट्रेनिंग कटऑफ़ पर रुक जाते हैं। RAG उसे आज की प्राइस लिस्ट या पॉलिसी से जवाब देने देता है।
- लागत. हर सवाल पर पूरा कॉर्पस भेजने के मुक़ाबले 10 टुकड़े भेजने में बहुत कम इनपुट टोकन लगते हैं।
- स्रोत का पता. जवाब उन हिस्सों का हवाला दे सकते हैं जिनसे वे आए, जिससे grounding में मदद मिलती है और हैलुसिनेशन पकड़ना आसान होता है।
- क्रम मायने रखता है. मॉडल लंबे प्रॉम्प्ट की शुरुआत और अंत को बीच के हिस्से से बेहतर इस्तेमाल करते हैं। सबसे अच्छे हिस्से पहले रखें। lost in the middle देखें।
BroadNet Inference पर
BroadNet जनरेशन वाला क़दम सँभालता है। उसके डॉक्स में कोई embeddings एंडपॉइंट नहीं है, इसलिए retriever के लिए अलग embedding मॉडल या कीवर्ड सर्च चाहिए। DeepSeek V4.1 Flash और GLM 5.3 तक 1,048,576 टोकन का कॉन्टेक्स्ट लेते हैं, जिससे खुलकर retrieval करना (या छोटे कॉर्पस के लिए retrieval बिल्कुल न करना) व्यावहारिक हो जाता है। लंबा कॉन्टेक्स्ट बनाम RAG वाला लेख लागत और recall पर दोनों की तुलना करता है, और अरबी RAG सर्च अरबी के लिए नॉर्मलाइज़ेशन और hybrid retrieval को कवर करता है।
आम ग़लतियाँ
- ग़लती retriever की हो और दोष मॉडल को देना। हर जवाब के लिए लॉग करें कि कौन-से टुकड़े निकाले गए।
- ऐसे टुकड़े जो टेबल या वाक्यों को बीच से काट देते हैं।
- “नहीं मिला” कहने का कोई निर्देश न होना। उसके बिना मॉडल ख़ाली जगह अपनी याददाश्त से भर देता है।