BroadRouter

Cached input token: paano nito binabawasan ang LLM API bill mo

Ng BroadNet Inference team · 5 minutong basa · Nailathala · Na-update

Ang cached input token ay mga prompt token na naproseso na ng provider at puwede nitong gamitin ulit, kaya mas mababa ang singil. Sa BroadNet Inference, $0.0055 kada 1M token ang cached input ng DeepSeek V4.1 Flash, laban sa $0.175 para sa bagong input. Para makuha ang discount, ilagay sa unahan ang stable na bahagi ng bawat prompt at panatilihin itong pareho sa bawat call.

Halos pareho sa bawat turn ang karamihan ng ipinapadala ng agent sa isang LLM: ang system prompt, ang tool definitions, ang mga file na ginagawa nito at ang usapan hanggang ngayon. Ang huling mensahe lang ang bago. Sa prompt caching, hindi sinisingil ng provider ang paulit-ulit na bahaging iyon sa buong presyo.

Ano ang cached input token?

Binubuo ang bawat request ng input at output token. Bago makasagot ang model, pinoproseso nito ang buong prompt. Kung may naunang request na nagsimula sa eksaktong parehong mga token, puwedeng gamitin ulit ng serving system ang trabahong iyon imbes na ulitin. Iniuulat ang ginamit-ulit na bahagi bilang cached input token at sinisingil sa mas mababang rate.

Dalawang bagay ang sumusunod sa paraan ng paggana nito:

  • Prefix lang ang kina-cache. Mula sa unang token pasulong ang pagtutugma, at humihinto ito sa unang pagkakaiba.
  • Hindi kailanman kina-cache ang sagot. Bagong output pa rin ang ginagawa ng model, at sinisingil ito sa buong presyo ng output.

Magkano ang cached token sa BroadNet Inference?

Kada 1 milyong token, mula sa nakalathalang price file:

Model Bagong input Cached input Output
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

Malaki ang agwat sa DeepSeek V4.1 Flash: ikumpara ang $0.0055 kada 1M cached token sa $0.175 kada 1M bagong token. Para sa agent na nagpapadala ulit ng 200,000-token na repository sa bawat turn, ang cache rate ang nagdedesisyon sa karamihan ng bill.

Magkano ang matitipid sa caching? Isang halimbawang kuwenta

Nagpapadala ang isang coding agent ng 200,000-token na prompt nang 100 beses sa isang araw ng trabaho. Iyon ay 20 milyong input token kada araw.

Cache rate Bagong input token Cached input token
0% 20M sa $0.175 kada 1M 0
50% 10M sa $0.175 kada 1M 10M sa $0.0055 kada 1M
90% 2M sa $0.175 kada 1M 18M sa $0.0055 kada 1M

Ang formula para sa araw-araw na input bill ay new tokens (M) × input price + cached tokens (M) × cached price. Sa 90%, 18M sa 20M input token ang sinisingil sa cached na presyo sa halip na sa buong presyo ng input, kaya habang lumalaki ang agwat ng dalawang presyo, lumalaki rin ang matitipid mo sa input bill. Walang nagbabago sa output. Subukan ang sarili mong mga numero sa prompt caching calculator.

Paano makikita ang cached token sa API response?

Sinasabi ng API reference ng BroadNet na kapag iniuulat ito ng model, dala ng usage object ang prompt_tokens_details.cached_tokens: ang mga prompt token na binasa mula sa cache, sinisingil sa cached na presyo. Sa isang stream, humingi ng usage sa huling chunk:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

I-log ang rate na iyon kada request sa loob ng isang araw. Sinasabi nito kung magkano talaga ang binabayaran mo, at ito ang numerong ilalagay sa prompt caching calculator. Higit pa tungkol sa usage habang naka-streaming sa gabay sa streaming.

Paano nagkakaiba ang prompt caching ng OpenAI, Anthropic at DeepSeek?

Walang iisang standard ang caching. Ito ang sinabi ng opisyal na docs nang kunin namin ang mga ito noong Nobyembre 14, 2026:

OpenAI Anthropic DeepSeek (direktang API)
Pag-on By default para sa mga supported na model Opt-in gamit ang cache_control field (awtomatiko o kada block) By default para sa lahat ng user
Minimum na prompt 1,024 token sa GPT-5.6 at mas bago 512 hanggang 4,096 token, depende sa model Walang nakasaad na minimum
Tagal ng cache 30 minuto by default sa GPT-5.6 at mas bago; may 12-oras na opsyon 5 minuto by default, 1 oras na may dagdag na bayad Best effort; binubura kapag hindi ginagamit, “a few hours to a few days” (salin: ilang oras hanggang ilang araw)
Write 1.25× input (30 minuto) o 2.5× (12 oras) sa GPT-5.6 at mas bago 1.25× input para sa 5 minuto, 2× para sa 1 oras Walang binanggit na singil sa write
Read 0.1× input sa GPT-5.6 at mas bago (0.05× sa GPT-6.1 Sol at Terra) 0.1× input sa karamihan ng model, mas mababa sa ilan Hiwalay na “cache hit” (salin: tama sa cache) na presyo
Usage field cached_tokens sa token details cache_read_input_tokens prompt_cache_hit_tokens

Mga source: prompt caching guide ng OpenAI, prompt caching docs ng Anthropic at context caching docs ng DeepSeek. Kung may dagdag na bayad ang write, mas mahal pa ang cache na naisulat pero hindi kailanman nabasa kaysa sa walang cache. Sulit lang ang caching sa mga prompt na talagang inuulit mo. Para ikumpara ang list price kada model, tingnan ang LLM API pricing table.

Ano ang nagpapababa sa cache rate mo?

Eksaktong prefix ang tinutugma ng cache, kaya anumang nagbabago sa unahan ng prompt ay ginagawang bago ang lahat ng kasunod. Ang mga karaniwang dahilan:

  • timestamp, request ID o pangalan ng user malapit sa itaas ng system prompt;
  • tool definitions o JSON na naka-serialize sa ibang ayos ng key sa bawat call, na nagpapabago sa mga token;
  • agent na nire-rewrite o sinu-summarize ang history nito imbes na dugtungan;
  • mahahabang pahinga, pagkatapos ng mga ito ay expired na ang cache.

Ang ayos ay isang fixed na ayos ng layer (system prompt, tools, mga dokumento, history, bagong mensahe), at byte-identical ang bawat layer sa bawat call. Ipinapakita ng gabay namin sa paano ayusin ang prompt para ma-cache ang prefix ang layout na iyon sa code, kasama ang isang test na nagpapatunay na nagagamit ulit ang prefix.

Kailan hindi na mahalaga ang caching?

Sa isang flat plan, hindi nakadepende sa token ang bill. Ang Full Moon ay $60 kada buwan kada session para sa unlimited na DeepSeek V4.1 Flash. Kung lampas na ang agent mo sa break-even point, hindi na problema sa gastos ang cache rate. Sa mahahabang prompt, nakakatulong pa rin sa bilis ang mga gawi sa itaas, kaya sulit pa rin silang panatilihin alinman ang piliin mo.

Bakit mas mahalaga ang caching sa mahabang context?

Tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng hanggang 1,048,576 token kada request. Caching ang nagpapakaya sa napakahahabang prompt sa isang per-token na key, dahil sinisingil sa cached rate ang malaki at paulit-ulit na bahagi ng context window. Tingnan ang kailan sulit ang 1M-token na context window.

Saan pumapasok ang BroadNet Inference

Naglalathala ang BroadNet ng presyo ng cached input para sa bawat chat model na mayroon nito, at iniuulat nito ang cached token sa usage kapag iniuulat ito ng model, kaya masusukat mo ang rate mo bago ka mag-commit. Hindi ito naglalathala ng tagal ng cache o minimum na haba ng prompt, kaya sukatin ang mga iyon sa sarili mong traffic. Kung buong araw tumatakbo ang agent mo, tuluyang nawawala ang tanong na ito sa isang flat plan.

Mga tanong

Kailangan ko bang i-on ang prompt caching?

Depende sa provider. Awtomatikong nagca-cache ang OpenAI at DeepSeek; kailangan ng cache_control field sa Anthropic. Sa BroadNet Inference, tingnan ang usage block: kapag nag-uulat ng cached token ang model, lumalabas ito bilang prompt_tokens_details.cached_tokens at sinisingil sa presyo ng cached input.

Paano ko malalaman kung gumagana ang prompt caching?

Humingi ng usage sa bawat request at hatiin ang cached_tokens sa prompt_tokens. Kung halos zero ang rate sa pangalawang call ng mahaba at paulit-ulit na prompt, may nagbabago sa unahan ng prompt sa bawat call.

Bakit mababa ang cache rate ko?

Kadalasan, dahil may nagbabago sa unahan ng prompt sa bawat call, gaya ng timestamp, request ID o listahan ng tools na nag-iiba ang ayos. Ilipat sa dulo ang nagbabagong content.

Ano ang pagkakaiba ng prompt caching at response caching?

Ginagamit ulit ng prompt caching ang naprosesong trabaho ng provider sa paulit-ulit na prefix ng prompt, pero bagong sagot pa rin ang isinusulat ng model. Ang response caching ay ikaw mismo ang gumagawa, nag-iimbak ng buong sagot at ibinabalik ito para sa magkaparehong tanong nang hindi tinatawag ang model.

Libre ba ang cached token?

Hindi. Mas mababang rate ang singil, hindi zero. Sa DeepSeek V4.1 Flash, $0.0055 kada 1M token ang cached input, at buo ang singil sa output.

Mahalaga pa ba ang caching sa unlimited na plan?

Hindi para sa bill, dahil walang token meter ang mga plan session. Pero sa maraming serving system, pinapaikli pa rin nito ang time to first token sa mahahabang prompt, kaya nakakatulong pa rin ang parehong gawi.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity