BroadRouter

Cached input token (cached input tokens)

Na-update

Ang cached input token ay prompt token na kamakailan lang naproseso ng LLM provider at magagamit ulit mula sa cache sa halip na kuwentahin muli, kadalasang paulit-ulit na prefix gaya ng system prompt o dokumento. Mas mababa ang singil dito kaysa sa bagong input token.

Tinatawag ding: cached input, cached token, prompt caching, cache hit, cache hits, cached tokens, context caching, cache read tokens

Halos pareho ang karamihan ng ipinapadala ng isang agent sa bawat turn. Sa prompt caching, nalalaktawan ng provider ang muling pagkuwenta sa paulit-ulit na bahaging iyon, at mas mababa ang singil dito.

Paano ito gumagana

Kapag binabasa ng model ang isang prompt, kinukuwenta nito ang internal state para sa bawat token. Puwedeng itago ng provider ang state na iyon nang sandali. Kung nagsisimula ang susunod na request sa parehong mga token, binabasa ng provider ang nakatagong state sa halip na kuwentahin ito ulit. Cached input token ang tawag sa mga token na iyon.

Mula sa simula ng prompt nagtutugma ang cache. Ayon sa gabay ng OpenAI, ang reuse ay “requires the entire rendered prefix to match.” (Salin ng BroadRouter: “kailangang magtugma ang buong rendered prefix.”) Kapag may isang character na nagbago sa unahan ng prompt, bagong input na ang lahat ng kasunod nito.

Magkakaiba ang mga provider sa detalye:

  • OpenAI: naka-on bilang default ang caching sa mga suportadong model, at iniuulat ang mga hit sa usage block. May dokumentadong minimum na prefix na 1,024 token sa mas bagong mga model nito.
  • Anthropic: sinisingil ang cache read sa 0.1 beses ng base na presyo ng input sa karamihan ng model, may dagdag na singil ang cache write, at 5 minuto ang default na tagal ng mga entry.

Sa Chat Completions format, lumalabas ang mga hit bilang usage.prompt_tokens_details.cached_tokens. Ang cache rate ay ang numerong iyon na hinati sa prompt_tokens.

Bakit ito mahalaga

Sa mahahaba at paulit-ulit na prompt, ang cache rate ang nagpapasya sa bill. Ang isang agent na nagpapadala ulit ng 200,000-token na repository sa bawat turn ay nagbabayad ng buong presyo ng input nang isang beses, at ng cached na presyo pagkatapos, basta stable ang prefix. Puwede ring paikliin ng caching ang time to first token sa mahahabang prompt, dahil mas kaunti ang trabaho bago magsimula ang pagbuo ng sagot.

Para pataasin ang rate, ilagay sa unahan ang stable na content (system prompt, tool definitions, mga dokumento) at sa dulo ang nagbabagong content. Huwag ilagay ang mga timestamp at request ID sa itaas ng prompt, at panatilihing nakaayos sa parehong pagkakasunod ang listahan ng tools. Nasa LLM API price index kung ilang porsiyento ng published na presyo ng mga provider ang may presyo para sa cached input, at ang karaniwang diskwento.

Sa BroadNet Inference

Naglalathala ang BroadNet ng presyo ng cached input para sa tatlong chat model, kada 1M token:

Model Bagong input Cached input
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

Awtomatikong sinisingil sa mas mababang presyo ang mga cached token, at ipinapakita ang mga ito ng prompt_tokens_details.cached_tokens kapag iniuulat ito ng model. Sa isang stream, hilingin ang usage gamit ang stream_options gaya ng ipinapakita sa streaming guide.

Sa isang flat-rate plan, walang token meter, kaya hindi binabago ng cache rate ang bill. Nasa cached input tokens, ipinaliwanag ang buong walkthrough, kasama ang code para i-log ang rate mo.

Mga tanong

Binibilang pa rin ba sa context window ang mga cached token?

Oo. Binabago ng caching kung magkano ang babayaran mo para sa mga token na iyon, hindi kung binibilang ang mga ito. Tahasang sinasabi ito ng docs ng Anthropic.

Gaano katagal ang isang cache?

Depende sa provider. Sa Anthropic, 5 minuto ang default na tagal, at nare-refresh ito tuwing ginagamit ang cache, at may opsyonal na 1 oras. Hindi laging naglalathala ng fixed na oras ang ibang provider, kaya sukatin ang hit rate mo.

Binabago ba ng caching ang sagot?

Hindi. Ang trabahong ginawa sa prompt ang itinatago ng cache, hindi ang sagot. Bagong sagot pa rin ang binubuo ng model.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity