BroadRouter

کیش شدہ ان پٹ ٹوکن (cached input tokens)

اپ ڈیٹ

کیش شدہ ان پٹ ٹوکن وہ پرامپٹ ٹوکن ہیں جنہیں LLM فراہم کنندہ نے حال ہی میں پروسیس کیا ہو اور دوبارہ حساب کرنے کے بجائے کیش سے پھر استعمال کر سکے، عموماً سسٹم پرامپٹ یا دستاویز جیسا دہرایا گیا پریفکس۔ فراہم کنندگان ان کا بل نئے ان پٹ ٹوکنز سے کم شرح پر بناتے ہیں۔

دوسرے نام: کیش شدہ ٹوکن، پرامپٹ کیشنگ، کیش ہٹ، cached token kya hai، prompt caching kya hai، cached input tokens، prompt caching، cache hits، cached tokens، context caching، cache read tokens

ایجنٹ جو کچھ بھیجتا ہے، اس کا زیادہ تر حصہ ہر باری میں ایک جیسا ہوتا ہے۔ پرامپٹ کیشنگ سے فراہم کنندہ اس دہرائے گئے حصے کا دوبارہ حساب چھوڑ سکتا ہے، اور اس کا بل کم بناتا ہے۔

یہ کیسے کام کرتا ہے

جب ماڈل پرامپٹ پڑھتا ہے تو وہ ہر ٹوکن کے لیے اندرونی حالت کا حساب کرتا ہے۔ فراہم کنندہ اس حالت کو تھوڑی دیر رکھ سکتا ہے۔ اگر اگلی درخواست انہی ٹوکنز سے شروع ہو تو فراہم کنندہ دوبارہ حساب کرنے کے بجائے محفوظ حالت پڑھ لیتا ہے۔ یہی ٹوکن کیش شدہ ان پٹ ٹوکن ہیں۔

کیش پرامپٹ کے آغاز سے میل دیکھتے ہیں۔ OpenAI کی گائیڈ کہتی ہے کہ دوبارہ استعمال کے لیے “requires the entire rendered prefix to match” (ترجمہ: پورے رینڈر شدہ پریفکس کا میل کھانا ضروری ہے)۔ پرامپٹ کے شروع میں ایک حرف بھی بدلا تو اس کے بعد کا سب کچھ نیا ان پٹ بن جاتا ہے۔

تفصیلات میں فراہم کنندگان مختلف ہیں:

  • OpenAI معاون ماڈلز پر کیشنگ بطور ڈیفالٹ فعال رکھتا ہے اور usage بلاک میں ہٹس بتاتا ہے۔ اپنے نئے ماڈلز کے لیے وہ کم از کم 1,024 ٹوکن کے پریفکس کی دستاویز دیتا ہے۔
  • Anthropic زیادہ تر ماڈلز کے لیے کیش ریڈ کا بل بنیادی ان پٹ قیمت کے 0.1 گنا پر بناتا ہے، کیش رائٹ پر اضافی قیمت لیتا ہے، اور اندراجات بطور ڈیفالٹ 5 منٹ رکھتا ہے۔

Chat Completions فارمیٹ میں ہٹس usage.prompt_tokens_details.cached_tokens کے طور پر نظر آتے ہیں۔ کیش ریٹ اس عدد کو prompt_tokens سے تقسیم کرنے پر ملتا ہے۔

یہ کیوں اہم ہے

لمبے، دہرائے جانے والے پرامپٹس میں کیش ریٹ ہی بل طے کرتا ہے۔ جو ایجنٹ ہر باری میں 200,000 ٹوکن کی ریپوزٹری دوبارہ بھیجتا ہے، وہ پوری ان پٹ قیمت ایک بار دیتا ہے اور اس کے بعد کیش شدہ قیمت، جب تک پریفکس مستحکم رہے۔ لمبے پرامپٹس میں کیشنگ پہلے ٹوکن تک کا وقت بھی کم کر سکتی ہے، کیونکہ جنریشن شروع ہونے سے پہلے کم کام ہوتا ہے۔

ریٹ بڑھانے کے لیے مستحکم مواد (سسٹم پرامپٹ، ٹول ڈیفینیشنز، دستاویزات) پہلے رکھیں اور بدلنے والا مواد آخر میں۔ ٹائم اسٹیمپس اور ریکویسٹ ID پرامپٹ کے اوپر سے دور رکھیں، اور ٹولز کی فہرست کی ترتیب مقرر رکھیں۔ فراہم کنندگان کی شائع شدہ قیمتوں میں سے کتنی میں کیش شدہ ان پٹ کی قیمت شامل ہے، اور عام رعایت کتنی ہے، یہ LLM API قیمت انڈیکس میں ہے۔

BroadNet Inference پر

BroadNet تین چیٹ ماڈلز کے لیے کیش شدہ ان پٹ کی قیمتیں شائع کرتا ہے، فی دس لاکھ ٹوکن:

ماڈل نیا ان پٹ کیش شدہ ان پٹ
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

کیش شدہ ٹوکنز کا بل خود بخود کم قیمت پر بنتا ہے، اور جب ماڈل انہیں رپورٹ کرے تو prompt_tokens_details.cached_tokens انہیں دکھاتا ہے۔ اسٹریم میں usage پانے کے لیے stream_options بھیجیں، جیسا کہ اسٹریمنگ گائیڈ میں دکھایا گیا ہے۔

مقررہ قیمت والے پلان پر کوئی ٹوکن میٹر نہیں، اس لیے کیش ریٹ سے بل نہیں بدلتا۔ اپنا ریٹ لاگ کرنے کے کوڈ کے ساتھ مکمل تفصیل کیش شدہ ان پٹ ٹوکنز کی وضاحت میں ہے۔

عام سوالات

کیا کیش شدہ ٹوکن بھی کانٹیکسٹ ونڈو میں گنے جاتے ہیں؟

ہاں۔ کیشنگ سے یہ بدلتا ہے کہ آپ ان ٹوکنز کی کتنی قیمت دیتے ہیں، یہ نہیں کہ وہ گنے جاتے ہیں یا نہیں۔ Anthropic کی دستاویزات یہ براہ راست کہتی ہیں۔

کیش کتنی دیر رہتا ہے؟

یہ فراہم کنندہ پر منحصر ہے۔ Anthropic کی ڈیفالٹ مدت 5 منٹ ہے، جو ہر بار کیش استعمال ہونے پر نئے سرے سے شروع ہوتی ہے، اور 1 گھنٹے کی مدت اختیاری ہے۔ دوسرے فراہم کنندگان ہمیشہ مقررہ وقت شائع نہیں کرتے، اس لیے اپنا ہٹ ریٹ ناپیں۔

کیا کیشنگ سے جواب بدلتا ہے؟

نہیں۔ کیش پرامپٹ پر کیا گیا کام محفوظ کرتا ہے، جواب نہیں۔ ماڈل پھر بھی نیا جواب بناتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں