Halos pareho sa bawat turn ang karamihan ng ipinapadala ng agent sa isang LLM: ang system prompt, ang tool definitions, ang mga file na ginagawa nito at ang usapan hanggang ngayon. Ang huling mensahe lang ang bago. Sa prompt caching, hindi sinisingil ng provider ang paulit-ulit na bahaging iyon sa buong presyo.
Ano ang cached input token?
Binubuo ang bawat request ng input at output token. Bago makasagot ang model, pinoproseso nito ang buong prompt. Kung may naunang request na nagsimula sa eksaktong parehong mga token, puwedeng gamitin ulit ng serving system ang trabahong iyon imbes na ulitin. Iniuulat ang ginamit-ulit na bahagi bilang cached input token at sinisingil sa mas mababang rate.
Dalawang bagay ang sumusunod sa paraan ng paggana nito:
- Prefix lang ang kina-cache. Mula sa unang token pasulong ang pagtutugma, at humihinto ito sa unang pagkakaiba.
- Hindi kailanman kina-cache ang sagot. Bagong output pa rin ang ginagawa ng model, at sinisingil ito sa buong presyo ng output.
Magkano ang cached token sa BroadNet Inference?
Kada 1 milyong token, mula sa nakalathalang price file:
| Model | Bagong input | Cached input | Output |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
Malaki ang agwat sa DeepSeek V4.1 Flash: ikumpara ang $0.0055 kada 1M cached token sa $0.175 kada 1M bagong token. Para sa agent na nagpapadala ulit ng 200,000-token na repository sa bawat turn, ang cache rate ang nagdedesisyon sa karamihan ng bill.
Magkano ang matitipid sa caching? Isang halimbawang kuwenta
Nagpapadala ang isang coding agent ng 200,000-token na prompt nang 100 beses sa isang araw ng trabaho. Iyon ay 20 milyong input token kada araw.
| Cache rate | Bagong input token | Cached input token |
|---|---|---|
| 0% | 20M sa $0.175 kada 1M | 0 |
| 50% | 10M sa $0.175 kada 1M | 10M sa $0.0055 kada 1M |
| 90% | 2M sa $0.175 kada 1M | 18M sa $0.0055 kada 1M |
Ang formula para sa araw-araw na input bill ay new tokens (M) × input price + cached tokens (M) × cached price. Sa 90%, 18M sa 20M input token ang sinisingil sa cached na presyo sa halip na sa buong presyo ng input, kaya habang lumalaki ang agwat ng dalawang presyo, lumalaki rin ang matitipid mo sa input bill. Walang nagbabago sa output. Subukan ang sarili mong mga numero sa prompt caching calculator.
Paano makikita ang cached token sa API response?
Sinasabi ng API reference ng BroadNet na kapag iniuulat ito ng model, dala ng usage object ang prompt_tokens_details.cached_tokens: ang mga prompt token na binasa mula sa cache, sinisingil sa cached na presyo. Sa isang stream, humingi ng usage sa huling chunk:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
I-log ang rate na iyon kada request sa loob ng isang araw. Sinasabi nito kung magkano talaga ang binabayaran mo, at ito ang numerong ilalagay sa prompt caching calculator. Higit pa tungkol sa usage habang naka-streaming sa gabay sa streaming.
Paano nagkakaiba ang prompt caching ng OpenAI, Anthropic at DeepSeek?
Walang iisang standard ang caching. Ito ang sinabi ng opisyal na docs nang kunin namin ang mga ito noong Nobyembre 14, 2026:
| OpenAI | Anthropic | DeepSeek (direktang API) | |
|---|---|---|---|
| Pag-on | By default para sa mga supported na model | Opt-in gamit ang cache_control field (awtomatiko o kada block) |
By default para sa lahat ng user |
| Minimum na prompt | 1,024 token sa GPT-5.6 at mas bago | 512 hanggang 4,096 token, depende sa model | Walang nakasaad na minimum |
| Tagal ng cache | 30 minuto by default sa GPT-5.6 at mas bago; may 12-oras na opsyon | 5 minuto by default, 1 oras na may dagdag na bayad | Best effort; binubura kapag hindi ginagamit, “a few hours to a few days” (salin: ilang oras hanggang ilang araw) |
| Write | 1.25× input (30 minuto) o 2.5× (12 oras) sa GPT-5.6 at mas bago | 1.25× input para sa 5 minuto, 2× para sa 1 oras | Walang binanggit na singil sa write |
| Read | 0.1× input sa GPT-5.6 at mas bago (0.05× sa GPT-6.1 Sol at Terra) | 0.1× input sa karamihan ng model, mas mababa sa ilan | Hiwalay na “cache hit” (salin: tama sa cache) na presyo |
| Usage field | cached_tokens sa token details |
cache_read_input_tokens |
prompt_cache_hit_tokens |
Mga source: prompt caching guide ng OpenAI, prompt caching docs ng Anthropic at context caching docs ng DeepSeek. Kung may dagdag na bayad ang write, mas mahal pa ang cache na naisulat pero hindi kailanman nabasa kaysa sa walang cache. Sulit lang ang caching sa mga prompt na talagang inuulit mo. Para ikumpara ang list price kada model, tingnan ang LLM API pricing table.
Ano ang nagpapababa sa cache rate mo?
Eksaktong prefix ang tinutugma ng cache, kaya anumang nagbabago sa unahan ng prompt ay ginagawang bago ang lahat ng kasunod. Ang mga karaniwang dahilan:
- timestamp, request ID o pangalan ng user malapit sa itaas ng system prompt;
- tool definitions o JSON na naka-serialize sa ibang ayos ng key sa bawat call, na nagpapabago sa mga token;
- agent na nire-rewrite o sinu-summarize ang history nito imbes na dugtungan;
- mahahabang pahinga, pagkatapos ng mga ito ay expired na ang cache.
Ang ayos ay isang fixed na ayos ng layer (system prompt, tools, mga dokumento, history, bagong mensahe), at byte-identical ang bawat layer sa bawat call. Ipinapakita ng gabay namin sa paano ayusin ang prompt para ma-cache ang prefix ang layout na iyon sa code, kasama ang isang test na nagpapatunay na nagagamit ulit ang prefix.
Kailan hindi na mahalaga ang caching?
Sa isang flat plan, hindi nakadepende sa token ang bill. Ang Full Moon ay $60 kada buwan kada session para sa unlimited na DeepSeek V4.1 Flash. Kung lampas na ang agent mo sa break-even point, hindi na problema sa gastos ang cache rate. Sa mahahabang prompt, nakakatulong pa rin sa bilis ang mga gawi sa itaas, kaya sulit pa rin silang panatilihin alinman ang piliin mo.
Bakit mas mahalaga ang caching sa mahabang context?
Tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng hanggang 1,048,576 token kada request. Caching ang nagpapakaya sa napakahahabang prompt sa isang per-token na key, dahil sinisingil sa cached rate ang malaki at paulit-ulit na bahagi ng context window. Tingnan ang kailan sulit ang 1M-token na context window.
Saan pumapasok ang BroadNet Inference
Naglalathala ang BroadNet ng presyo ng cached input para sa bawat chat model na mayroon nito, at iniuulat nito ang cached token sa usage kapag iniuulat ito ng model, kaya masusukat mo ang rate mo bago ka mag-commit. Hindi ito naglalathala ng tagal ng cache o minimum na haba ng prompt, kaya sukatin ang mga iyon sa sarili mong traffic. Kung buong araw tumatakbo ang agent mo, tuluyang nawawala ang tanong na ito sa isang flat plan.
