BroadRouter
شروع کریں

ایجنٹ ٹوکن بجٹ: ایجنٹ لوپ کے ٹوکن کہاں جاتے ہیں

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ

ایجنٹ لوپ ہر کال پر اپنا پورا کانٹیکسٹ دوبارہ بھیجتا ہے: سسٹم پرامپٹ، ٹول کی تعریفیں، گفتگو کی ہسٹری، فائلوں کا مواد اور ٹول آؤٹ پٹ، ساتھ نیا مرحلہ۔ ان پٹ عموماً آؤٹ پٹ سے کئی گنا بھاری ہوتا ہے۔ ہر کال کے prompt_tokens، cached_tokens اور completion_tokens لاگ کریں، سب سے بڑا دہرایا جانے والا حصہ تلاش کریں، پھر ٹولز کم کریں، ٹول آؤٹ پٹ پر حد لگائیں اور لمبے سیشن دوبارہ شروع کریں۔

چیٹ کی لاگت ہوتی ہے جو آپ ٹائپ کرتے ہیں، اور جو ماڈل لکھتا ہے۔ ایجنٹ کی لاگت اس سے کہیں زیادہ ہوتی ہے، کیونکہ وہ ماڈل کو درجنوں بار کال کرتا ہے اور ہر بار تقریباً سب کچھ دوبارہ بھیجتا ہے۔ اگر آپ یہ لاگت کم کرنا چاہتے ہیں، یا بس کانٹیکسٹ ونڈو کی حد سے ٹکرانا بند کرنا چاہتے ہیں، تو آپ کو معلوم ہونا چاہیے کہ ہر درخواست کا کون سا حصہ بڑا ہے۔ یہ پوسٹ ایجنٹ لوپ کو پانچ حصوں میں بانٹتی ہے، API کے اپنے usage ڈیٹا سے ہر حصہ ناپنے کا طریقہ دکھاتی ہے، اور بتاتی ہے کہ پہلے کیا کم کریں۔

ایجنٹ سب کچھ دوبارہ کیوں بھیجتا ہے؟

چیٹ کمپلیشنز APIs اسٹیٹ لیس ہیں۔ ماڈل کو کالز کے درمیان کچھ یاد نہیں رہتا، اس لیے ایجنٹ ہر مرحلے پر پورا کانٹیکسٹ بھیجتا ہے۔ 40 مراحل والا ٹاسک، جس میں ہر کال 30,000 ٹوکن لے جاتی ہے، شاید 40,000 آؤٹ پٹ ٹوکن بنانے کے لیے 12 لاکھ ان پٹ ٹوکن پڑھتا ہے۔ یہی 30 سے 1 کا تناسب وجہ ہے کہ ایجنٹ کے بلوں میں ان پٹ ٹوکن اور ان کی کیش قیمت حاوی رہتی ہے۔

ٹوکن کہاں جاتے ہیں؟

حصہ یہ کیا ہے ہر کال پر دہرایا جاتا ہے؟ عام وجہ
سسٹم پرامپٹ ایجنٹ کی ہدایات، rules فائلیں، پروجیکٹ نوٹس ہاں لمبی rules فائلیں
ٹول اسکیما ہر ٹول کا نام، وضاحت اور JSON Schema ہاں بلٹ اِن ٹولز اور ہر MCP سرور
ہسٹری پچھلے پیغامات، ٹول کالز اور نتائج ہاں، اور بڑھتی ہے لمبے سیشن
فائلیں پڑھنا اور ٹول آؤٹ پٹ فائلوں کا مواد، ٹیسٹ لاگز، تلاش کے نتائج ہاں، ہٹائے جانے تک پوری فائلیں پڑھنا، لمبا آؤٹ پٹ دینے والی کمانڈز
آؤٹ پٹ نظر آنے والا جواب، ٹول کالز اور ریزننگ نہیں ریزننگ effort، پوری فائلیں دوبارہ لکھنا

پہلے دو مقررہ اوور ہیڈ ہیں۔ Cursor نے ستمبر 2026 میں لکھا کہ سسٹم پرامپٹ اور ٹول کی تعریفیں “had become one of the largest sources of spend that we fully control” (ترجمہ: ہمارے مکمل اختیار والے خرچ کے سب سے بڑے ذرائع میں سے ایک بن گئی تھیں)، اور فائلیں پڑھنے کو “another large source of token spend” (ترجمہ: ٹوکن خرچ کا ایک اور بڑا ذریعہ) کہا۔ اس کی تبدیلیوں نے، جن میں سسٹم پرامپٹ کا تقریباً دو تہائی حصہ ہٹانا اور 20% سے کم گفتگو میں استعمال ہونے والے ٹولز کو صرف ضرورت پر لوڈ کرنا شامل تھا، صارفین کی ٹوکن لاگت 7% کم کی۔ GitHub کی VS Code ٹیم نے Copilot کے لیے یہی دو لاگتیں بتائیں: دہرایا جانے والا پرامپٹ پری فکس اور ٹول کی تعریفوں کا اوور ہیڈ۔

اسے کیسے ناپیں؟

آپ کو کسی ٹریسنگ پروڈکٹ کی ضرورت نہیں۔ ہر جواب کا usage بلاک کافی ہے۔

  1. usage آن کریں۔ اسٹریمنگ میں stream_options: {"include_usage": true} شامل کریں؛ usage آخری چنک میں آتا ہے۔ دیکھیں اسٹریمنگ۔
  2. ہر کال پر لاگ کریں: مرحلے کا نمبر، prompt_tokens، prompt_tokens_details.cached_tokens، completion_tokens اور، جب بتایا جائے، completion_tokens_details.reasoning_tokens۔
  3. مقررہ اوور ہیڈ ایک بار ناپیں۔ صرف سسٹم پرامپٹ، ٹولز اور لفظ “hi” کے ساتھ ایک درخواست بھیجیں۔ اس کا prompt_tokens آپ کی کم از کم سطح ہے۔
  4. ٹول کا آؤٹ پٹ ناپیں۔ ہر ٹول نتیجہ شامل کرنے سے پہلے اس کے حروف گنیں۔ چار سے تقسیم کرنے پر انگریزی ٹوکنز کی موٹی گنتی ملتی ہے؛ اپنے ماڈل کے tokenizer پر درست عدد کے لیے ایک نمونہ مفت ٹوکن کاؤنٹر میں چسپاں کریں۔
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

prompt_tokens کو مرحلے کے حساب سے پلاٹ کریں۔ مستحکم ڈھلوان کا مطلب ہے ہسٹری بڑھ رہی ہے۔ اچانک اچھال کا مطلب ہے کوئی بڑی فائل یا لاگ کانٹیکسٹ میں آیا۔ اونچی کم از کم سطح کا مطلب ہے بہت زیادہ ٹولز۔

Aider میں /tokens بتاتا ہے کہ موجودہ کانٹیکسٹ میں کیا ہے، اور /drop اس میں سے فائلیں ہٹاتا ہے۔

پہلے کیا کم کریں؟

جو سب سے آسان ہے اس کے حساب سے نہیں، سائز ضرب دہرائی کی ترتیب سے:

  1. غیر استعمال شدہ ٹولز۔ ہر ٹول اسکیما ہر کال کے ساتھ جاتا ہے۔ OpenAI کا گائیڈ کہتا ہے کہ فنکشن کی تعریفیں “are billed as input tokens” (ترجمہ: ان پٹ ٹوکنز کے طور پر بل ہوتی ہیں) اور ٹرن کے آغاز پر 20 سے کم فنکشنز کا مشورہ دیتا ہے، ایک نرم اصول کے طور پر۔ جو MCP سرورز اس ٹاسک میں استعمال نہیں ہو رہے، انہیں بند کریں؛ opencode کی ڈاکس صاف کہتی ہیں کہ MCP ٹولز ماڈل کا کانٹیکسٹ کھاتے ہیں۔
  2. ٹول آؤٹ پٹ۔ کمانڈ کے آؤٹ پٹ پر حد لگائیں (ٹیسٹ لاگ کی آخری 200 لائنیں، 20,000 نہیں)۔ تلاش کے نتائج پاتھ اور لائن نمبرز کے طور پر لوٹائیں، پھر صرف ضروری حصہ پڑھیں۔
  3. فائلیں پڑھنا۔ فائل نہیں، فنکشن پڑھیں۔ Aider کا repo map پوری فائلوں کے بجائے ڈیفالٹ 1k ٹوکن بجٹ (--map-tokens) استعمال کرتا ہے۔
  4. ہسٹری۔ ہر تبدیلی کے لیے نیا ٹاسک شروع کریں۔ اگر سیشن جاری رکھنا ہی ہو، تو پرانے ٹرنز کو مختصر خلاصے سے بدل دیں۔
  5. سسٹم پرامپٹ۔ وہ قواعد ہٹائیں جن کی ماڈل پہلے سے پیروی کرتا ہے۔ باقی کو مستحکم رکھیں۔
  6. آؤٹ پٹ۔ پوری فائلیں نہیں، diffs مانگیں۔ معمول کے مراحل کے لیے reasoning_effort کو low پر سیٹ کریں۔ ریزننگ ٹوکنز کا بل آؤٹ پٹ کے طور پر بنتا ہے۔

پری فکس مستحکم کیوں رکھیں؟

فراہم کنندگان دہرائے گئے پری فکس کو کیش کرتے ہیں اور اس کا بل کم شرح پر بناتے ہیں۔ BroadNet Inference پر DeepSeek V4.1 Flash کیش شدہ ان پٹ کا بل فی 1M ٹوکن $0.0055 پر اور نئے ان پٹ کا $0.175 پر بناتا ہے۔ GLM 5.3، $0.173 بمقابلہ $0.78 لیتا ہے۔ سسٹم پرامپٹ میں ٹائم اسٹیمپ، یا ہر کال میں مختلف ترتیب سے درج ٹولز، اس جگہ سے آگے کیش توڑ دیتے ہیں۔ مستحکم حصے پہلے، مقررہ ترتیب میں رکھیں، اور بدلنے والے حصے آخر میں۔ مزید کیش شدہ ان پٹ ٹوکنز کی وضاحت میں؛ پرامپٹ کیشنگ کیلکولیٹر دکھاتا ہے کہ کوئی خاص ہٹ کی شرح کتنا بچاتی ہے۔

کیشنگ پری فکس کی قیمت کم کرتی ہے، اس کا سائز نہیں۔ کیش شدہ ٹوکن تب بھی کانٹیکسٹ ونڈو بھرتے ہیں اور پروسیس ہونے میں وقت لیتے ہیں۔

ایک حل شدہ ایجنٹ بجٹ کیسا دکھتا ہے؟

اوپر والا 40 مراحل کا ٹاسک لیں، جس کا 80% ان پٹ کیش شدہ ہے:

حصہ ٹوکن کس شرح پر بل
نیا ان پٹ 240,000 ان پٹ قیمت
کیش شدہ ان پٹ 960,000 کیش شدہ ان پٹ قیمت
ریزننگ سمیت آؤٹ پٹ 40,000 آؤٹ پٹ قیمت

ہر کال سے غیر استعمال شدہ ٹول اسکیما کے 5,000 ٹوکن ہٹانے پر اس ٹاسک سے 200,000 ان پٹ ٹوکن کم ہو جاتے ہیں، کل کا تقریباً چھٹا حصہ، اور ایجنٹ کے رویے میں کوئی تبدیلی نہیں۔ کم کرنے کے علاوہ لاگت کے دوسرے لیورز، جیسے ماڈل کا انتخاب، کیشنگ اور مقررہ پلانز، کے لیے دیکھیں کوڈنگ ایجنٹ کی LLM لاگت کم کرنے کے 10 طریقے۔ ملٹی ایجنٹ سیٹ اپس کے لیے ایجنٹس کی تعداد سے ضرب دیں؛ دیکھیں ملٹی ایجنٹ سیٹ اپس کی لاگت۔ اپنے لوپ کو مرحلہ بہ مرحلہ ماڈل کرنے کے لیے ایجنٹ رن لاگت تخمینہ کار استعمال کریں۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet Inference، usage بلاک میں پرامپٹ اور کمپلیشن ٹوکن لوٹاتا ہے، اور ماڈل بتائے تو کیش شدہ اور ریزننگ ٹوکن بھی، اس لیے اوپر کا ناپنے کا طریقہ جیسا لکھا ہے ویسا ہی کام کرتا ہے۔ DeepSeek V4.1 Flash پر اس کی کم کیش شدہ ان پٹ قیمت مستحکم پری فکس کو فائدہ دیتی ہے۔ اگر کم کرنے میں وقت لگانا فائدہ مند نہ ہو، تو لامحدود پلانز DeepSeek V4.1 Flash کا ٹوکن میٹر $60 ماہانہ فی سیشن پر ہٹا دیتے ہیں؛ کانٹیکسٹ ونڈو کی حد تب بھی لاگو ہے، اور ہلکا کانٹیکسٹ تب بھی تیز چلتا ہے۔ پلانز inference.broadnet.ai/plans پر ہیں۔

عام سوالات

میرا کوڈنگ ایجنٹ اتنے زیادہ ان پٹ ٹوکن کیوں استعمال کرتا ہے؟

کیونکہ API اسٹیٹ لیس ہے۔ ہر کال سسٹم پرامپٹ، ہر ٹول کی تعریف، اب تک کی گفتگو اور کانٹیکسٹ میں موجود تمام فائلوں کا مواد دوبارہ بھیجتی ہے۔ لمبا سیشن اسے مراحل کی تعداد سے ضرب دے دیتا ہے۔

کیسے دیکھوں کہ ایجنٹ کا ہر مرحلہ کتنے ٹوکن استعمال کرتا ہے؟

ہر جواب کا usage بلاک پڑھیں۔ اسٹریمنگ میں stream_options include_usage کو true کریں اور آخری چنک پڑھیں۔ prompt_tokens، prompt_tokens_details.cached_tokens اور completion_tokens کو مرحلے کے نمبر کے ساتھ لاگ کریں۔

کیا ٹول کی تعریفیں ان پٹ ٹوکنز میں گنی جاتی ہیں؟

جی ہاں۔ ٹولز کی فہرست پرامپٹ کا حصہ ہے اور ہر کال پر بھیجی جاتی ہے۔ MCP سرورز اپنے ٹولز اسی فہرست میں شامل کرتے ہیں، اسی لیے opencode کی ڈاکس کہتی ہیں کہ صرف ضروری سرورز شامل کریں۔

کیا پرامپٹ کیشنگ سے مسئلہ حل ہو جاتا ہے؟

یہ دہرائے گئے پری فکس کی قیمت کم کرتی ہے، اس کا سائز نہیں۔ کیش شدہ ان پٹ تب بھی کانٹیکسٹ ونڈو بھرتا ہے۔ BroadNet پر DeepSeek V4.1 Flash کیش شدہ ان پٹ کا بل فی 1M ٹوکن $0.0055 پر بناتا ہے، جبکہ نئے ان پٹ کا $0.175 پر۔

کیا ریزننگ ٹوکن بجٹ کا حصہ ہیں؟

جی ہاں، آؤٹ پٹ کی طرف۔ ریزننگ ماڈلز سوچ کو max_tokens میں گنتے ہیں اور استعمال کے مطابق ادائیگی پر اس کا بل آؤٹ پٹ کے طور پر بناتے ہیں۔ معمول کے مراحل کے لیے reasoning_effort کو low پر سیٹ کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں