BroadRouter

1M-टोकन कॉन्टेक्स्ट विंडो कब फ़ायदेमंद है (और कब नहीं)

BroadNet Inference टीम · 4 मिनट में पढ़ें · प्रकाशित

1M-टोकन कॉन्टेक्स्ट विंडो एक ही अनुरोध में पूरा कोडबेस, कॉन्ट्रैक्ट का सेट या घंटों के ट्रांसक्रिप्ट रखने देती है, ताकि मॉडल रिट्रीव किए टुकड़ों की जगह सब कुछ एक साथ देखे। यह कई फ़ाइलों में फैले तर्क और एक बार के विश्लेषण में फ़ायदेमंद है; बड़े, बदलते कॉर्पस पर बार-बार की खोज में रिट्रीवल सस्ता है। DeepSeek V4.1 Flash और GLM 5.3 1,048,576 टोकन स्वीकार करते हैं।

Light shining through towering cliffs made of stacked paper pages.

कॉन्टेक्स्ट विंडो कुछ हज़ार टोकन से बढ़कर दस लाख से ज़्यादा हो गई हैं। BroadNet Inference पर DeepSeek V4.1 Flash और GLM 5.3 प्रति अनुरोध 1,048,576 टोकन स्वीकार करते हैं, प्रॉम्प्ट और जवाब मिलाकर। इससे आपके बनाने का तरीक़ा बदल सकता है, लेकिन इससे हर प्रॉम्प्ट बेहतर नहीं हो जाता।

दस लाख टोकन में क्या समाता है?

मोटे अंदाज़े के लिए: हमारे टोकनाइज़र एफ़िशिएंसी डेटासेट में अंग्रेज़ी गद्य के 1,000 शब्द पाँच टोकनाइज़र के औसत से लगभग 1,290 टोकन बने, इसलिए दस लाख टोकन मोटे तौर पर सादे गद्य के 810,000 शब्द हैं:

कंटेंट मोटे तौर पर
मध्यम आकार का कोडबेस (दसियों हज़ार लाइनें) समा जाता है, जगह बचती है
शेड्यूल के साथ कई लंबे कॉन्ट्रैक्ट समा जाते हैं
एक दिन की मीटिंग के ट्रांसक्रिप्ट समा जाते हैं
डिपेंडेंसी के साथ बड़ा monorepo अक्सर नहीं; डायरेक्टरी चुनें

टोकन की गिनती भाषा और कंटेंट पर निर्भर है। कोड और अरबी टेक्स्ट अक्सर अंग्रेज़ी गद्य से प्रति कैरेक्टर ज़्यादा टोकन लेते हैं। अनुमान लगाने की जगह असली अनुरोध के usage ब्लॉक से मापें, या कॉन्टेक्स्ट विंडो कैलकुलेटर में एक सैंपल जाँचें।

BroadNet के किन मॉडल में 1M-टोकन कॉन्टेक्स्ट विंडो है?

मॉडल कॉन्टेक्स्ट विंडो इनपुट आउटपुट इमेज
DeepSeek V4.1 Flash 1,048,576 $0.175 $0.52 हाँ
GLM 5.3 1,048,576 $0.78 $3.46 नहीं
Qwen3.8 27B 262,144 $0.175 $2.17 हाँ
BroadNet Gemma 4 VL 26B 32,768 $0.10 $0.22 हाँ

कीमतें प्रति 1M टोकन हैं। GLM 5.3 उसी 1M विंडो पर टूल कॉलिंग और स्ट्रक्चर्ड आउटपुट भी देता है।

1M-टोकन विंडो कब फ़ायदेमंद है?

  • कई फ़ाइलों में फैला तर्क। “यह टेस्ट फ़ेल क्यों होता है?” अक्सर ऐसी पाँच फ़ाइलों पर निर्भर करता है जिन्हें कोई एक साथ रिट्रीव करने की नहीं सोचेगा।
  • पूरे डॉक्यूमेंट की समीक्षा। क्लॉज़ 4 और शेड्यूल B के बीच टकराव ढूँढने के लिए दोनों का सामने होना ज़रूरी है।
  • एक बार का विश्लेषण। जो सवाल आप एक ही बार पूछेंगे, उसके लिए रिट्रीवल इंडेक्स बनाने में जितनी मेहनत लगती है, उतनी बचती नहीं।
  • एजेंट। जो सब-एजेंट पूरा मॉड्यूल पढ़ सकता है, वह कम ग़लत अंदाज़े लगाता है। देखें पैरेलल एजेंट चलाना।

रिट्रीवल कब अब भी बेहतर विकल्प है?

रिट्रीवल तब बेहतर है जब किसी भी विंडो से कहीं बड़ी लाइब्रेरी पर कई छोटी खोजें हों, कंटेंट हर मिनट बदलता हो, और तेज़ इंटरैक्टिव जवाब चाहिए हों जहाँ पहले विशाल प्रॉम्प्ट पढ़ने से देरी बढ़ती है। कई प्रोडक्शन सिस्टम दोनों करते हैं: सबसे प्रासंगिक 200,000 टोकन रिट्रीव करते हैं, फिर लॉन्ग-कॉन्टेक्स्ट मॉडल को इन सब पर तर्क करने देते हैं। प्रति क्वेरी लागत, लेटेंसी और रिकॉल को आमने-सामने रखकर पूरा फ़ैसला लॉन्ग कॉन्टेक्स्ट बनाम RAG में है।

क्या मॉडल सच में पूरी विंडो इस्तेमाल करता है?

बराबर नहीं। इस पर रिसर्च एकमत है:

  • Lost in the Middle पेपर (Liu et al.) ने पाया कि प्रदर्शन “is often highest when relevant information occurs at the beginning or end of the input context” (अनुवाद: अक्सर तब सबसे ज़्यादा होता है जब प्रासंगिक जानकारी इनपुट कॉन्टेक्स्ट की शुरुआत या अंत में हो)।
  • Chroma की Context Rot रिपोर्ट ने 18 मॉडल टेस्ट किए और पाया कि “performance grows increasingly unreliable as input length grows” (अनुवाद: इनपुट की लंबाई बढ़ने के साथ प्रदर्शन लगातार कम भरोसेमंद होता जाता है), सरल कामों पर भी।

इन अध्ययनों ने BroadNet पर मॉडल टेस्ट नहीं किए, इसलिए इन्हें माप नहीं, चेतावनी मानें। व्यावहारिक नियम: दस लाख टोकन स्वीकार करने वाली विंडो का मतलब यह नहीं कि हर टोकन पर बराबर ध्यान जाता है। सबसे ज़रूरी सामग्री शुरुआत या अंत के पास रखें, और अपने डॉक्यूमेंट पर रिकॉल टेस्ट करें।

दस लाख टोकन के प्रॉम्प्ट की लागत क्या है?

उपयोग के अनुसार भुगतान वाली key पर DeepSeek V4.1 Flash प्रति 1M इनपुट टोकन $0.175 और प्रति 1M कैश्ड इनपुट टोकन $0.0055 बिल करता है। पूरा दस लाख टोकन का प्रॉम्प्ट पहली बार लगभग $0.175 पड़ता है, और प्रीफ़िक्स कैश होने पर दोहराई कॉल पर बहुत कम। अपनी कैश दर कैसे बढ़ाएँ।

प्रॉम्प्ट कैशिंग कैलकुलेटर दिखाता है कि आपके प्रॉम्प्ट साइज़ पर कैश हिट कितना बचाता है। एक हल किया हुआ उदाहरण: एक ही 800,000-टोकन कॉन्ट्रैक्ट सेट पर दस सवाल। कैशिंग के बिना यह $0.175 प्रति 1M पर 8M टोकन है। अगर डॉक्यूमेंट पहले आएँ और एक जैसे रहें, तो पहली कॉल 800,000 नए टोकन पढ़ती है और अगली नौ उनमें से ज़्यादातर $0.0055 प्रति 1M पर कैश से पढ़ सकती हैं। सिर्फ़ सवाल और जवाब बदलते हैं।

अनलिमिटेड प्लान पर प्रॉम्प्ट का साइज़ बिल नहीं बदलता: Full Moon प्रति सेशन $60 प्रति माह है, बिना टोकन मीटर के। इसीलिए लॉन्ग-कॉन्टेक्स्ट एजेंट प्रति-टोकन बिलिंग की जगह फ़्लैट प्लान चुनने की एक आम वजह हैं।

जवाब के लिए कितनी जगह छोड़नी चाहिए?

विंडो में प्रॉम्प्ट और आउटपुट दोनों आते हैं, और रीज़निंग मॉडल पर आउटपुट में थिंकिंग शामिल है। अगर आप 1,040,000 टोकन का प्रॉम्प्ट भेजते हैं, तो रीज़निंग और जवाब के लिए सिर्फ़ लगभग 8,000 बचते हैं। मार्जिन रखें, max_tokens साफ़ तौर पर सेट करें, और पढ़ें रीज़निंग मॉडल ख़ाली जवाब क्यों लौटा सकते हैं।

1M-टोकन प्रॉम्प्ट के लिए कोडबेस कैसे तैयार करें

  1. जो मॉडल को नहीं चाहिए, उसे बाहर रखें। लॉक फ़ाइलें, बिल्ड आउटपुट, vendored डिपेंडेंसी, इमेज और जेनरेट किया गया कोड टोकन लेते हैं और शोर बढ़ाते हैं।
  2. भेजने से पहले गिनें। एक छोटा सैंपल भेजें, usage से prompt_tokens पढ़ें, और उसी अनुपात में बढ़ाएँ।
  3. स्थिरता के क्रम में रखें। कम बदलने वाली फ़ाइलें पहले, जिन फ़ाइलों पर काम चल रहा है वे आख़िर में, और सवाल बिल्कुल अंत में। इससे प्रीफ़िक्स कैश होने लायक़ रहता है।
  4. हर फ़ाइल पर लेबल लगाएँ। फ़ाइलों को === path/to/file.py === जैसे साफ़ मार्कर में लपेटें, ताकि मॉडल उनका हवाला दे सके।
  5. हवाले माँगें। “जिस लाइन पर आप निर्भर हैं, उसे उद्धृत करें” विशाल इनपुट पर आत्मविश्वास भरी ग़लतियाँ घटाता है।
  6. मापें। हर अनुरोध पर प्रॉम्प्ट टोकन, कैश्ड टोकन और पहले टोकन तक का समय लॉग करें। स्ट्रीमिंग पहला टोकन आते ही दिखा देती है।

BroadNet Inference कहाँ फ़िट होता है

इसके दो चैट मॉडल प्रति अनुरोध 1,048,576 टोकन लेते हैं, और BroadNet आपका कॉन्टेक्स्ट नहीं काटता। प्रति-टोकन key पर कैशिंग दोहराए जाने वाले लंबे प्रॉम्प्ट को किफ़ायती रखती है; प्लान सेशन पर प्रॉम्प्ट का साइज़ बिल पर असर नहीं डालता। अगर आपका कॉर्पस दस लाख टोकन से कहीं बड़ा है या हर मिनट बदलता है, तो आपको अब भी रिट्रीवल चाहिए, और कोई भी विंडो साइज़ इसे नहीं बदलता।

अक्सर पूछे जाने वाले सवाल

क्या BroadNet लंबे प्रॉम्प्ट काटता है?

नहीं। BroadNet आपका कॉन्टेक्स्ट नहीं काटता। अगर प्रॉम्प्ट और max_tokens मिलकर मॉडल की विंडो से ज़्यादा हैं, तो चुपचाप ट्रंकेशन पर भरोसा करने की जगह प्रॉम्प्ट छोटा करें।

1 मिलियन टोकन में कितने शब्द होते हैं?

यह भाषा और कंटेंट पर निर्भर है। BroadRouter के टोकनाइज़र डेटासेट में अंग्रेज़ी गद्य लगभग 129 टोकन प्रति 100 शब्द मापा गया (1,000 शब्द लगभग 1,290 टोकन, पाँच टोकनाइज़र का औसत), इसलिए 1,048,576 टोकन में मोटे तौर पर 810,000 शब्द आते हैं, यानी हज़ार से कहीं ज़्यादा पेज। तकनीकी टेक्स्ट, कोड और अरबी को ज़्यादा टोकन चाहिए, इसलिए अपना असली कंटेंट गिनें।

क्या 1M-टोकन वाला अनुरोध धीमा होता है?

यह छोटे अनुरोध से शुरू होने में ज़्यादा समय लेता है, क्योंकि मॉडल को पहले पूरा प्रॉम्प्ट पढ़ना होता है। दोहराई जाने वाली कॉल पर कैश्ड प्रीफ़िक्स आम तौर पर मदद करते हैं। अपने प्रॉम्प्ट पर पहले टोकन तक का समय मापें।

क्या LLM सच में पूरी कॉन्टेक्स्ट विंडो इस्तेमाल करते हैं?

बराबर नहीं। Lost in the Middle पेपर ने पाया कि सटीकता अक्सर तब सबसे ज़्यादा होती है जब प्रासंगिक जानकारी इनपुट की शुरुआत या अंत में हो, और Chroma की Context Rot रिपोर्ट ने पाया कि इनपुट की लंबाई बढ़ने पर भरोसेमंदी गिरती है। मुख्य सामग्री किनारों पर रखें और अपने डेटा पर टेस्ट करें।

क्या मुझे RAG इस्तेमाल करना बंद कर देना चाहिए?

ज़रूरी नहीं। जब मॉडल को सब कुछ एक साथ देखना हो, तब लॉन्ग कॉन्टेक्स्ट इस्तेमाल करें, और जब विशाल लाइब्रेरी से कुछ तथ्य चाहिए हों, तब रिट्रीवल। कई सिस्टम दोनों को मिलाते हैं।

अगर मेरा प्रॉम्प्ट कॉन्टेक्स्ट विंडो से बड़ा हो तो क्या होगा?

BroadNet उसे आपके लिए नहीं काटता, इसलिए अनुरोध वैसे नहीं चलेगा जैसा आप चाहते हैं। भेजने से पहले फ़ाइलें हटाएँ, पुराने टर्न का सारांश बनाएँ, या सिर्फ़ प्रासंगिक हिस्से रिट्रीव करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें