BroadRouter

कैश्ड इनपुट टोकन (cached input tokens)

अपडेट किया गया

कैश्ड इनपुट टोकन वे प्रॉम्प्ट टोकन हैं जिन्हें LLM प्रोवाइडर ने हाल ही में प्रोसेस किया है और दोबारा गणना करने के बजाय कैश से फिर इस्तेमाल कर सकता है, आम तौर पर सिस्टम प्रॉम्प्ट या डॉक्यूमेंट जैसा दोहराया गया प्रीफ़िक्स। प्रोवाइडर इनका बिल नए इनपुट टोकन से कम दर पर बनाते हैं।

अन्य नाम: कैश्ड टोकन, प्रॉम्प्ट कैशिंग, कैश हिट, cached token kya hai, prompt caching kya hai, cached input tokens, prompt caching, cache hits, cached tokens, context caching, cache read tokens

एजेंट जो कुछ भेजता है, उसका ज़्यादातर हिस्सा हर टर्न में एक जैसा होता है। प्रॉम्प्ट कैशिंग से प्रोवाइडर उस दोहराए गए हिस्से की दोबारा गणना छोड़ सकता है, और उसका बिल कम बनाता है।

यह कैसे काम करता है

जब मॉडल प्रॉम्प्ट पढ़ता है, तो वह हर टोकन के लिए अंदरूनी स्टेट की गणना करता है। प्रोवाइडर उस स्टेट को थोड़ी देर रख सकता है। अगर अगला अनुरोध उन्हीं टोकन से शुरू होता है, तो प्रोवाइडर दोबारा गणना करने के बजाय रखी हुई स्टेट पढ़ लेता है। यही टोकन कैश्ड इनपुट टोकन हैं।

कैश प्रॉम्प्ट की शुरुआत से मिलान करते हैं। OpenAI की गाइड कहती है कि दोबारा इस्तेमाल के लिए “requires the entire rendered prefix to match” (अनुवाद: पूरे रेंडर किए गए प्रीफ़िक्स का मेल खाना ज़रूरी है)। प्रॉम्प्ट की शुरुआत में एक अक्षर भी बदला, तो उसके बाद का सब कुछ नया इनपुट बन जाता है।

बारीकियों में प्रोवाइडर अलग हैं:

  • OpenAI समर्थित मॉडलों पर कैशिंग डिफ़ॉल्ट रूप से चालू रखता है और usage ब्लॉक में हिट बताता है। अपने नए मॉडलों के लिए वह कम से कम 1,024 टोकन का प्रीफ़िक्स डॉक्यूमेंट करता है।
  • Anthropic ज़्यादातर मॉडलों के लिए कैश रीड का बिल बेस इनपुट कीमत के 0.1 गुना पर बनाता है, कैश राइट पर प्रीमियम लेता है, और एंट्री डिफ़ॉल्ट रूप से 5 मिनट रखता है।

Chat Completions फ़ॉर्मैट में हिट usage.prompt_tokens_details.cached_tokens के रूप में दिखते हैं। कैश रेट उस संख्या को prompt_tokens से भाग देने पर मिलता है।

यह क्यों मायने रखता है

लंबे, दोहराए जाने वाले प्रॉम्प्ट में कैश रेट ही बिल तय करता है। जो एजेंट हर टर्न में 200,000 टोकन की रिपॉज़िटरी दोबारा भेजता है, वह पूरी इनपुट कीमत एक बार देता है और उसके बाद कैश्ड कीमत, जब तक प्रीफ़िक्स स्थिर रहे। लंबे प्रॉम्प्ट में कैशिंग पहले टोकन तक का समय भी घटा सकती है, क्योंकि जनरेशन शुरू होने से पहले कम काम होता है।

रेट बढ़ाने के लिए स्थिर सामग्री (सिस्टम प्रॉम्प्ट, टूल डेफ़िनिशन, डॉक्यूमेंट) पहले रखें और बदलने वाली सामग्री आख़िर में। टाइमस्टैम्प और रिक्वेस्ट ID को प्रॉम्प्ट के ऊपर से दूर रखें, और टूल की सूची का क्रम तय रखें। प्रोवाइडर की प्रकाशित कीमतों में से कितनी में कैश्ड इनपुट की कीमत शामिल है, और आम छूट कितनी है, यह LLM API प्राइस इंडेक्स में है।

BroadNet Inference पर

BroadNet तीन चैट मॉडलों के लिए कैश्ड इनपुट की कीमतें प्रकाशित करता है, प्रति 10 लाख टोकन:

मॉडल नया इनपुट कैश्ड इनपुट
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

कैश्ड टोकन का बिल अपने-आप कम कीमत पर बनता है, और जब मॉडल इन्हें रिपोर्ट करता है, तो prompt_tokens_details.cached_tokens इन्हें दिखाता है। स्ट्रीम में usage पाने के लिए stream_options भेजें, जैसा स्ट्रीमिंग गाइड में दिखाया गया है।

फ़्लैट-रेट प्लान पर कोई टोकन मीटर नहीं है, इसलिए कैश रेट से बिल नहीं बदलता। अपना रेट लॉग करने के कोड के साथ पूरी जानकारी कैश्ड इनपुट टोकन की व्याख्या में है।

अक्सर पूछे जाने वाले सवाल

क्या कैश्ड टोकन भी कॉन्टेक्स्ट विंडो में गिने जाते हैं?

हाँ। कैशिंग से यह बदलता है कि आप उन टोकन के लिए कितना देते हैं, यह नहीं कि वे गिने जाते हैं या नहीं। Anthropic के डॉक्स यह सीधे कहते हैं।

कैश कितनी देर रहता है?

यह प्रोवाइडर पर निर्भर है। Anthropic की डिफ़ॉल्ट अवधि 5 मिनट है, जो हर बार कैश इस्तेमाल होने पर फिर से शुरू होती है, और 1 घंटे की अवधि वैकल्पिक है। दूसरे प्रोवाइडर हमेशा तय समय प्रकाशित नहीं करते, इसलिए अपना हिट रेट मापें।

क्या कैशिंग से जवाब बदलता है?

नहीं। कैश प्रॉम्प्ट पर किया गया काम सँभालता है, जवाब नहीं। मॉडल फिर भी नया जवाब बनाता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें