1M-टोकन कॉन्टेक्स्ट विंडो गाइड बताती है कि दस लाख टोकन में क्या समाता है और एक अनुरोध की लागत क्या है। यह पोस्ट एक संकरे सवाल का जवाब देती है जो हर आर्किटेक्चर रिव्यू में उठता है: क्या हम वेक्टर डेटाबेस और उसके आसपास की RAG पाइपलाइन हटा सकते हैं? कभी-कभी हाँ। फ़ैसला चार पैमानों पर करें: लागत, लेटेंसी, रिकॉल और रखरखाव।
लॉन्ग कॉन्टेक्स्ट कब RAG की जगह लेता है?
ये चारों बातें सच होनी चाहिए:
- कॉर्पस समा जाता है। प्रॉम्प्ट, जवाब और रीज़निंग मार्जिन के साथ कॉन्टेक्स्ट विंडो के अंदर रहते हैं। DeepSeek V4.1 Flash और GLM 5.3 पर यह विंडो 1,048,576 टोकन की है (दोनों की तुलना)। कॉन्टेक्स्ट विंडो कैलकुलेटर जाँचता है कि आपके डॉक्यूमेंट समाते हैं या नहीं।
- यह कम बदलता है। हर महीने अपडेट होने वाला मैनुअल ठीक है। हर मिनट अपडेट होने वाली टिकट क्यू नहीं।
- हर कोई पूरा देख सकता है। एक साझा कॉर्पस, हर यूज़र के लिए फ़िल्टर करने को कोई अनुमति नहीं।
- सवाल पूरे कॉर्पस में फैले हैं। “कौन से कॉन्ट्रैक्ट नई पॉलिसी से टकराते हैं?” के लिए सब कुछ सामने चाहिए; “रिफ़ंड की समय-सीमा क्या है?” के लिए नहीं।
अगर एक भी बात सच नहीं है, तो रिट्रीवल रखें, या हाइब्रिड इस्तेमाल करें।
प्रति क्वेरी लागत की तुलना कैसी है?
400,000 टोकन का डॉक्यूमेंट सेट और 500 टोकन के जवाब वाला एक सवाल लें। RAG मान लीजिए 8,000 टोकन के चंक रिट्रीव करता है। DeepSeek V4.1 Flash के साथ उपयोग के अनुसार भुगतान वाली key पर:
| तरीक़ा | प्रति क्वेरी इनपुट | प्रति क्वेरी इनपुट लागत |
|---|---|---|
| लॉन्ग कॉन्टेक्स्ट, पहली क्वेरी | 400,000 नए | 0.4 × $0.175 |
| लॉन्ग कॉन्टेक्स्ट, दोहराई क्वेरी, प्रीफ़िक्स कैश्ड | लगभग 400,000 कैश्ड | लगभग 0.4 × $0.0055 |
| RAG | 8,000 नए | 0.008 × $0.175 |
आउटपुट हर मामले में एक जैसा है: 500 टोकन × $0.52 प्रति 1M। (हर गुणक मिलियन टोकन की संख्या है, जिसे प्रति 1M कीमत से गुणा किया गया है।)
इससे तीन बातें निकलती हैं। कैशिंग के बिना लॉन्ग कॉन्टेक्स्ट इनपुट पर प्रति क्वेरी RAG से 50 गुना महँगा है, क्योंकि वह 50 गुना टोकन भेजता है। कॉर्पस कैश हो, तो फ़र्क़ काफ़ी घट जाता है, क्योंकि इस मॉडल पर कैश्ड इनपुट नए इनपुट के कुछ प्रतिशत के बराबर है। लेकिन कैशिंग तभी टिकती है जब प्रीफ़िक्स बाइट-दर-बाइट एक जैसा रहे, इसलिए कॉर्पस सबसे पहले आना चाहिए और स्थिर रहना चाहिए; देखें कैशिंग के लिए प्रॉम्प्ट का ढाँचा। RAG की अपनी लागतें हैं जो यह टेबल छोड़ देती है: कॉर्पस को एम्बेड करना, वेक्टर स्टोर चलाना, और चंकिंग ट्यून करने में इंजीनियरिंग का समय। एम्बेडिंग कॉस्ट कैलकुलेटर एम्बेडिंग वाले हिस्से की कीमत निकालता है। RAG चंकिंग कैलकुलेटर क्वेरी वाले हिस्से की कीमत निकालता है: चंक, प्रति क्वेरी टोकन और मासिक LLM बिल।
आपकी अपनी कैश दर कितनी काम की है, यह देखने के लिए प्रॉम्प्ट कैशिंग कैलकुलेटर आज़माएँ। फ़्लैट प्लान पर इनपुट वाला कॉलम ग़ायब हो जाता है: Full Moon प्रति सेशन $60 प्रति माह है, बिना टोकन मीटर के, इसलिए 400,000 टोकन का प्रॉम्प्ट छोटे प्रॉम्प्ट जितना ही पड़ता है।
लेटेंसी की तुलना कैसी है?
मॉडल पहला टोकन लिखने से पहले पूरा प्रॉम्प्ट पढ़ता है। पहले टोकन तक का समय प्रॉम्प्ट की लंबाई के साथ बढ़ता है, और लाखों टोकन लंबा प्रॉम्प्ट 8,000 टोकन वाले से शुरू होने में साफ़ तौर पर ज़्यादा समय लेता है। कई सर्विंग सिस्टम में कैश्ड प्रीफ़िक्स मदद करते हैं। वेक्टर सर्च ख़ुद आम तौर पर बहुत कम समय जोड़ती है; जेनरेशन के मुक़ाबले रिट्रीवल कॉल छोटी है।
इसलिए जिस इंटरैक्टिव असिस्टेंट को एक-दो सेकंड में जवाब देना है, उसके लिए RAG ज़्यादा सुरक्षित डिफ़ॉल्ट है। जो एनालिस्ट एक गहरा सवाल पूछकर जवाब का इंतज़ार करता है, उसके लिए लॉन्ग कॉन्टेक्स्ट ठीक है। जिस साइज़ का प्रॉम्प्ट आप भेजने वाले हैं, उस पर अपने प्रॉम्प्ट का TTFT मापें।
किसका रिकॉल बेहतर है?
कोई भी पूरी तरह सही नहीं है, और दोनों अलग तरह से फ़ेल होते हैं।
लॉन्ग कॉन्टेक्स्ट बीच के तथ्य खो सकता है (lost in the middle)। Lost in the Middle अध्ययन ने पाया कि मॉडल जानकारी का सबसे अच्छा इस्तेमाल तब करते हैं जब वह इनपुट की शुरुआत या अंत में हो, और बीच में बदतर। RULER बेंचमार्क ने पाया कि सरल needle-in-a-haystack टेस्ट में लगभग पूरे अंक लाने वाले मॉडल इनपुट बढ़ने पर कठिन कामों में कमज़ोर पड़े, और 32K या ज़्यादा टोकन का दावा करने वाले मॉडल में से “only half of them” (अनुवाद: उनमें से सिर्फ़ आधे) 32K पर संतोषजनक प्रदर्शन बनाए रख सके। नए मॉडल बेहतर करते हैं, लेकिन विज्ञापित विंडो वही नहीं है जिसमें क्वालिटी टिकी रहती है।
RAG मॉडल के शुरू होने से पहले ही फ़ेल होता है: अगर रिट्रीवर ने अंश छोड़ दिया, तो मॉडल उसे कभी नहीं देखता। जिन सवालों के लिए कई अंश चाहिए, या जो स्रोत से अलग शब्द इस्तेमाल करते हैं, वे आम चूक हैं।
| गड़बड़ी का तरीक़ा | लॉन्ग कॉन्टेक्स्ट | RAG |
|---|---|---|
| तथ्य प्रॉम्प्ट के बीच में दबा | लंबाई के साथ जोखिम बढ़ता है | कम, प्रॉम्प्ट छोटा है |
| जवाब के लिए 20 बिखरे अंश चाहिए | मज़बूत | कमज़ोर, जब तक top-k बड़ा न हो |
| क्वेरी के शब्द स्रोत से अलग | मज़बूत | एम्बेडिंग और रीरैंकिंग पर निर्भर |
| कॉर्पस विंडो से बड़ा | संभव नहीं | मज़बूत |
लॉन्ग कॉन्टेक्स्ट के लिए दो बचाव: सवाल को आख़िर में रखें, डॉक्यूमेंट के बाद, और मॉडल से उन पंक्तियों को उद्धृत करने को कहें जिन पर वह निर्भर है।
रखरखाव का क्या?
RAG एक सिस्टम है: चंकिंग, एम्बेडिंग, इंडेक्स, बदलाव पर री-इंडेक्सिंग, अनुमति फ़िल्टर, रिट्रीवल क्वालिटी का मूल्यांकन। लॉन्ग कॉन्टेक्स्ट एक प्रॉम्प्ट है: फ़ाइलों को साफ़ लेबल के साथ जोड़ें और भेज दें। जिस छोटी टीम का कॉर्पस समा जाता है, उसके लिए पाइपलाइन हटाने से असली काम घटता है। बड़े, बदलते, अनुमतियों वाले कॉर्पस के लिए पाइपलाइन वह काम कर रही है जो लॉन्ग कॉन्टेक्स्ट नहीं कर सकता।
वह हाइब्रिड जिस पर ज़्यादातर टीमें पहुँचती हैं
- खुलकर रिट्रीव करें: पाँच चंक नहीं, बल्कि पूरे डॉक्यूमेंट, कुछ लाख टोकन तक।
- उन्हें स्थिर क्रम में रखें (डॉक्यूमेंट ID से, स्कोर से नहीं), ताकि जुड़े हुए सवालों में प्रीफ़िक्स कैश हो।
- सवाल आख़िर में रखें और लॉन्ग-कॉन्टेक्स्ट मॉडल को भेजें।
- डॉक्यूमेंट लेबल के हवाले माँगें, और उन्हें बीच-बीच में जाँचें।
इससे विशाल कॉर्पस पर RAG की पहुँच और कई स्रोतों पर तर्क करने की लॉन्ग कॉन्टेक्स्ट की क्षमता, दोनों बनी रहती हैं। यह कमज़ोर रिट्रीवर को भी झेल लेता है, क्योंकि लगभग-सही डॉक्यूमेंट भी प्रॉम्प्ट में रहता है।
BroadNet Inference कहाँ फ़िट होता है
BroadNet Inference दो 1M-टोकन मॉडल देता है, DeepSeek V4.1 Flash और GLM 5.3, और यह आपका कॉन्टेक्स्ट नहीं काटता, इसलिए बहुत बड़ा अनुरोध चुपचाप डॉक्यूमेंट खोने की जगह फ़ेल होता है। प्रति-टोकन key पर कैश्ड इनपुट कम कैश्ड दर पर बिल होता है, और अनलिमिटेड प्लान DeepSeek V4.1 Flash के लिए टोकन मीटर पूरी तरह हटा देते हैं। इसका API रेफ़रंस chat completions और ट्रांसक्रिप्शन दिखाता है, एम्बेडिंग एंडपॉइंट या वेक्टर स्टोर नहीं, इसलिए RAG वाला हिस्सा आपको ख़ुद लाना होगा। विंडो में रीज़निंग टोकन के लिए जगह छोड़ें; रीज़निंग गाइड बताती है क्यों। कीमतें प्राइसिंग पेज पर हैं।
