BroadRouter

Token budget ng agent: saan napupunta ang token ng agent loop

Ng BroadNet Inference team · 5 minutong basa · Nailathala

Ipinapadala ulit ng agent loop ang buong context nito sa bawat tawag: system prompt, tool definition, history ng usapan, laman ng file at tool output, at ang bagong hakbang. Kadalasang ilang beses na mas malaki ang input kaysa sa output. I-log ang prompt_tokens, cached_tokens at completion_tokens kada tawag, hanapin ang pinakamalaking paulit-ulit na bahagi, saka bawasan ang tools, limitahan ang tool output at i-restart ang mahahabang session.

Ang gastos ng chat ay ang tina-type mo at ang isinusulat ng model. Mas malaki nang husto ang gastos ng agent, dahil dose-dosenang beses itong tumatawag sa model at ipinapadala ulit ang halos lahat sa bawat pagkakataon. Kung gusto mong bawasan ang gastos na iyon, o tumigil lang sa pagtama sa context window, kailangan mong malaman kung aling bahagi ng bawat request ang malaki. Hinahati ng post na ito ang agent loop sa limang bahagi, ipinapakita kung paano sukatin ang bawat isa mula sa sariling usage data ng API, at inililista kung ano ang unang babawasan.

Bakit ipinapadala ulit ng agent ang lahat?

Stateless ang mga chat-completions API. Walang naaalala ang model sa pagitan ng mga tawag, kaya ipinapadala ng agent ang buong context sa bawat hakbang. Ang 40-hakbang na task na may 30,000 token kada tawag ay nagbabasa ng 1.2 milyong input token para makagawa ng siguro 40,000 output token. Dahil sa 30-sa-1 na ratio na iyan kaya ang input token at ang presyo ng cache nito ang pinakamalaking bahagi ng bill ng agent.

Saan napupunta ang mga token?

Bahagi Ano ito Umuulit sa bawat tawag? Karaniwang sanhi
System prompt Instruction ng agent, mga rules file, project note Oo Mahahabang rules file
Tool schema Pangalan, paglalarawan at JSON Schema ng bawat tool Oo Built-in na tools at bawat MCP server
History Mga naunang mensahe, tool call at resulta Oo, at lumalaki Mahahabang session
Pagbasa ng file at tool output Laman ng file, test log, resulta ng search Oo, hanggang alisin Pagbasa ng buong file, madaldal na command
Output Nakikitang sagot, tool call at reasoning Hindi Reasoning effort, pagsulat ulit ng buong file

Nakapirming overhead ang unang dalawa. Isinulat ng Cursor noong Setyembre 2026 na ang system prompt at tool definition ay “had become one of the largest sources of spend that we fully control” (salin: naging isa sa pinakamalalaking pinagkakagastusan na buo naming kontrolado), at tinawag nito ang pagbasa ng file na “another large source of token spend” (salin: isa pang malaking pinagkakagastusan ng token). Ang mga pagbabago nito, kasama ang pagbawas ng mga dalawang-katlo ng system prompt at ang pag-load lang kapag kailangan ng tools na ginagamit sa wala pang 20% ng usapan, ay nagbawas ng 7% sa gastos sa token ng mga user. Parehong dalawang gastos din ang pinangalanan ng VS Code team ng GitHub para sa Copilot: ang paulit-ulit na prefix ng prompt at ang overhead ng tool definition.

Paano mo ito susukatin?

Hindi mo kailangan ng tracing na produkto. Sapat na ang usage block sa bawat response.

  1. I-on ang usage. Para sa streaming, idagdag ang stream_options: {"include_usage": true}; dumarating ang usage sa huling chunk. Tingnan ang streaming.
  2. I-log kada tawag: numero ng hakbang, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens at, kapag iniuulat, completion_tokens_details.reasoning_tokens.
  3. Sukatin nang isang beses ang nakapirming overhead. Magpadala ng isang request na system prompt at tools lang, at ang salitang “hi”. Ang prompt_tokens nito ang sahig mo.
  4. Sukatin ang output ng isang tool. Bilangin ang mga character ng bawat resulta ng tool bago mo ito i-append. Kapag hinati sa apat, magaspang na bilang ito ng English na token; i-paste ang sample sa libreng token counter para sa eksaktong numero sa tokenizer ng model mo.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

I-plot ang prompt_tokens ayon sa hakbang. Kung tuloy-tuloy ang pagtaas, lumalaki ang history. Kung biglang tumalon, may malaking file o log na pumasok sa context. Kung mataas ang sahig, masyadong marami ang tools.

Sa Aider, iniuulat ng /tokens ang laman ng kasalukuyang context, at inaalis ng /drop ang mga file mula rito.

Ano ang unang babawasan?

Isaayos ayon sa laki na pinarami sa bilang ng pag-ulit, hindi ayon sa kung ano ang pinakamadali:

  1. Hindi ginagamit na tools. Sumasakay ang bawat tool schema sa bawat tawag. Sabi ng gabay ng OpenAI, ang function definition ay “are billed as input tokens” (salin: sinisingil bilang input token) at iminumungkahi nito ang wala pang 20 function sa simula ng turn, bilang maluwag na patakaran. I-disable ang mga MCP server na hindi mo ginagamit sa task na ito; diretsahang sinasabi ng docs ng opencode na kumakain ng context ng model ang mga MCP tool.
  2. Tool output. Limitahan ang output ng command (huling 200 linya ng test log, hindi 20,000). Ibalik ang resulta ng search bilang path at numero ng linya, saka basahin lang ang kailangan.
  3. Pagbasa ng file. Basahin ang function, hindi ang buong file. Gumagamit ang repo map ng Aider ng default na 1k-token na budget (--map-tokens) sa halip na buong file.
  4. History. Magsimula ng bagong task kada pagbabago. Kapag kailangang ituloy ang session, palitan ang mga lumang turn ng maikling buod.
  5. System prompt. Alisin ang mga patakarang sinusunod na ng model. Panatilihing stable ang iba.
  6. Output. Humingi ng diff, hindi buong file. I-set ang reasoning_effort sa low para sa mga karaniwang hakbang. Sinisingil bilang output ang reasoning token.

Bakit dapat panatilihing stable ang prefix?

Kina-cache ng mga provider ang paulit-ulit na prefix at sinisingil ito sa mas mababang rate. Sa BroadNet Inference, sinisingil ng DeepSeek V4.1 Flash ang cached input sa $0.0055 kada 1M token at ang bagong input sa $0.175. Ang GLM 5.3 ay $0.173 laban sa $0.78. Sinisira ng timestamp sa system prompt, o ng tools na iba ang pagkakasunod sa bawat tawag, ang cache mula sa puntong iyon. Ilagay muna ang mga stable na bahagi, sa nakapirming pagkakasunod, at sa huli ang mga nagbabagong bahagi. Higit pa sa paliwanag sa cached input token; ipinapakita ng prompt caching calculator kung magkano ang natitipid sa isang hit rate.

Pinabababa ng caching ang presyo ng prefix, pero hindi ang laki nito. Pinupuno pa rin ng cached token ang context window at kailangan pa ring iproseso.

Ano ang itsura ng isang halimbawang budget ng agent?

Kunin ang 40-hakbang na task sa itaas, na 80% ng input ay naka-cache:

Bahagi Token Sinisingil sa
Bagong input 240,000 Presyo ng input
Cached input 960,000 Presyo ng cached input
Output kasama ang reasoning 40,000 Presyo ng output

Kapag binawasan ng 5,000 token ng hindi ginagamit na tool schema ang bawat tawag, 200,000 input token ang naaalis sa task na ito, mga isang-kanim ng total, nang walang pagbabago sa kilos ng agent. Para sa mga pingga sa gastos bukod sa pagbabawas, gaya ng pagpili ng model, caching at flat plan, tingnan ang 10 paraan para bawasan ang gastos sa LLM ng coding agent. Para sa multi-agent na setup, i-multiply sa bilang ng agent; tingnan ang magkano ang gastos ng multi-agent na setup. Para i-model ang sarili mong loop hakbang-hakbang, gamitin ang agent run cost estimator.

Saan pumapasok ang BroadNet Inference

Ibinabalik ng BroadNet Inference ang prompt at completion token sa usage block, pati ang cached at reasoning token kapag iniuulat ito ng model, kaya gumagana ang pagsukat sa itaas gaya ng pagkakasulat. Ginagantimpalaan ng mababang presyo ng cached input nito sa DeepSeek V4.1 Flash ang stable na prefix. Kung hindi sulit sa oras mo ang pagbabawas, inaalis ng mga unlimited plan ang token meter para sa DeepSeek V4.1 Flash sa halagang $60 kada buwan kada session; may bisa pa rin ang context window, at mas mabilis pa ring tumakbo ang magaan na context. Nasa inference.broadnet.ai/plans ang mga plan.

Mga tanong

Bakit ang daming input token ng coding agent ko?

Dahil stateless ang API. Ipinapadala ulit ng bawat tawag ang system prompt, bawat tool definition, ang usapan hanggang ngayon at lahat ng laman ng file na nasa context pa. Pinaparami iyan ng mahabang session ayon sa bilang ng hakbang.

Paano ko makikita kung ilang token ang ginagamit ng bawat hakbang ng agent?

Basahin ang usage block ng bawat response. Sa streaming, i-set sa true ang include_usage sa stream_options at basahin ang huling chunk. I-log ang prompt_tokens, prompt_tokens_details.cached_tokens at completion_tokens kasama ang numero ng hakbang.

Binibilang ba bilang input token ang tool definition?

Oo. Bahagi ng prompt ang listahan ng tools at ipinapadala ito sa bawat tawag. Idinadagdag ng mga MCP server ang kanilang tools sa listahang iyon, kaya sabi ng docs ng opencode, idagdag lang ang mga server na kailangan mo.

Naaayos ba ng prompt caching ang problema?

Binabawasan nito ang presyo ng paulit-ulit na prefix, hindi ang laki nito. Pinupuno pa rin ng cached input ang context window. Sa BroadNet, sinisingil ng DeepSeek V4.1 Flash ang cached input sa $0.0055 kada 1M token laban sa $0.175 para sa bagong input.

Bahagi ba ng budget ang reasoning token?

Oo, sa panig ng output. Binibilang ng mga reasoning model ang pag-iisip sa max_tokens at sinisingil ito bilang output sa pay-as-you-go. I-set ang reasoning_effort sa low para sa mga karaniwang hakbang.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity