ایجنٹ جو کچھ بھیجتا ہے، اس کا زیادہ تر حصہ ہر باری میں ایک جیسا ہوتا ہے۔ پرامپٹ کیشنگ سے فراہم کنندہ اس دہرائے گئے حصے کا دوبارہ حساب چھوڑ سکتا ہے، اور اس کا بل کم بناتا ہے۔
یہ کیسے کام کرتا ہے
جب ماڈل پرامپٹ پڑھتا ہے تو وہ ہر ٹوکن کے لیے اندرونی حالت کا حساب کرتا ہے۔ فراہم کنندہ اس حالت کو تھوڑی دیر رکھ سکتا ہے۔ اگر اگلی درخواست انہی ٹوکنز سے شروع ہو تو فراہم کنندہ دوبارہ حساب کرنے کے بجائے محفوظ حالت پڑھ لیتا ہے۔ یہی ٹوکن کیش شدہ ان پٹ ٹوکن ہیں۔
کیش پرامپٹ کے آغاز سے میل دیکھتے ہیں۔ OpenAI کی گائیڈ کہتی ہے کہ دوبارہ استعمال کے لیے “requires the entire rendered prefix to match” (ترجمہ: پورے رینڈر شدہ پریفکس کا میل کھانا ضروری ہے)۔ پرامپٹ کے شروع میں ایک حرف بھی بدلا تو اس کے بعد کا سب کچھ نیا ان پٹ بن جاتا ہے۔
تفصیلات میں فراہم کنندگان مختلف ہیں:
- OpenAI معاون ماڈلز پر کیشنگ بطور ڈیفالٹ فعال رکھتا ہے اور usage بلاک میں ہٹس بتاتا ہے۔ اپنے نئے ماڈلز کے لیے وہ کم از کم 1,024 ٹوکن کے پریفکس کی دستاویز دیتا ہے۔
- Anthropic زیادہ تر ماڈلز کے لیے کیش ریڈ کا بل بنیادی ان پٹ قیمت کے 0.1 گنا پر بناتا ہے، کیش رائٹ پر اضافی قیمت لیتا ہے، اور اندراجات بطور ڈیفالٹ 5 منٹ رکھتا ہے۔
Chat Completions فارمیٹ میں ہٹس usage.prompt_tokens_details.cached_tokens کے طور پر نظر آتے ہیں۔ کیش ریٹ اس عدد کو prompt_tokens سے تقسیم کرنے پر ملتا ہے۔
یہ کیوں اہم ہے
لمبے، دہرائے جانے والے پرامپٹس میں کیش ریٹ ہی بل طے کرتا ہے۔ جو ایجنٹ ہر باری میں 200,000 ٹوکن کی ریپوزٹری دوبارہ بھیجتا ہے، وہ پوری ان پٹ قیمت ایک بار دیتا ہے اور اس کے بعد کیش شدہ قیمت، جب تک پریفکس مستحکم رہے۔ لمبے پرامپٹس میں کیشنگ پہلے ٹوکن تک کا وقت بھی کم کر سکتی ہے، کیونکہ جنریشن شروع ہونے سے پہلے کم کام ہوتا ہے۔
ریٹ بڑھانے کے لیے مستحکم مواد (سسٹم پرامپٹ، ٹول ڈیفینیشنز، دستاویزات) پہلے رکھیں اور بدلنے والا مواد آخر میں۔ ٹائم اسٹیمپس اور ریکویسٹ ID پرامپٹ کے اوپر سے دور رکھیں، اور ٹولز کی فہرست کی ترتیب مقرر رکھیں۔ فراہم کنندگان کی شائع شدہ قیمتوں میں سے کتنی میں کیش شدہ ان پٹ کی قیمت شامل ہے، اور عام رعایت کتنی ہے، یہ LLM API قیمت انڈیکس میں ہے۔
BroadNet Inference پر
BroadNet تین چیٹ ماڈلز کے لیے کیش شدہ ان پٹ کی قیمتیں شائع کرتا ہے، فی دس لاکھ ٹوکن:
| ماڈل | نیا ان پٹ | کیش شدہ ان پٹ |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
کیش شدہ ٹوکنز کا بل خود بخود کم قیمت پر بنتا ہے، اور جب ماڈل انہیں رپورٹ کرے تو prompt_tokens_details.cached_tokens انہیں دکھاتا ہے۔ اسٹریم میں usage پانے کے لیے stream_options بھیجیں، جیسا کہ اسٹریمنگ گائیڈ میں دکھایا گیا ہے۔
مقررہ قیمت والے پلان پر کوئی ٹوکن میٹر نہیں، اس لیے کیش ریٹ سے بل نہیں بدلتا۔ اپنا ریٹ لاگ کرنے کے کوڈ کے ساتھ مکمل تفصیل کیش شدہ ان پٹ ٹوکنز کی وضاحت میں ہے۔