Karamihan ng listahang “bawasan ang LLM bill mo nang 70%” ay pinaghalong magandang payo at mga numerong walang sumukat. Nakaayos ang checklist na ito ayon sa kung ano ang dapat unahin, at galing sa isang price file o sa sariling docs ng provider ang bawat numero. Kapag may mas malalim na post sa site na ito para sa isang hakbang, naka-link ito roon. Galing sa pricing file ng BroadNet ang mga presyo nito sa ibaba, na na-sync noong 2026-11-14.
Ano ang nagpapalaki sa LLM API bill?
Apat na numero ang nagdedesisyon sa halos lahat ng bill:
- Bagong input token. Ang prompt, bawas ang anumang bahaging binasa mula sa cache.
- Cached input token. Ang paulit-ulit na prefix, sinisingil sa mas mababang rate.
- Output token. Ang sagot, dagdag ang mga reasoning token sa mga thinking model.
- Bilang ng request. Hiwalay na sinisingil ang bawat call, kasama ang bawat retry.
Output ang pinakamahal na unit. Sa mga chat model ng BroadNet, kada 1M token:
| Model | Input | Cached input | Output |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Gemma 4 VL 26B | $0.10 | walang nakalathala | $0.22 |
Kaya ito ang mga puwedeng galawin: magpadala ng mas kaunting bagong token, magbasa ng mas marami mula sa cache, mag-generate nang mas kaunti, at mag-call nang mas madalang. Detalyadong ipinaliwanag ang bawat unit sa paano gumagana ang presyo ng LLM API.
Ang checklist sa isang tingin
| Hakbang | Ano ang babaguhin mo | Binabawasan | Effort |
|---|---|---|---|
| 1. Sukatin | Logging lang | Wala pa; ipinapakita kung saan magbabawas | Mababa |
| 2. I-cache ang prefix | Ayos ng prompt | Presyo ng input | Mababa |
| 3. Paikliin ang prompt | Laman ng prompt | Input token | Katamtaman |
| 4. Limitahan ang output at reasoning | Settings ng request | Output token | Mababa |
| 5. Piliin ang tamang laki ng model | Pagpili ng model | Lahat ng presyo | Katamtaman |
| 6. Mag-batch o ilipat ang oras ng trabaho | Scheduling | Presyo kada token, kung may alok | Katamtaman |
| 7. I-cache ang mga sagot | Code ng app | Buong request | Katamtaman |
| 8. Limitahan ang retry at loop | Code ng app | Nasasayang na request | Mababa |
| 9. Mag-set ng spend limit | Account at mga key | Bill na lumolobo | Mababa |
| 10. I-check ang break-even ng flat rate | Paraan ng billing | Kabuuang bill sa mataas na volume | Mababa |
1. Bakit kailangang sukatin muna bago magbawas?
Dahil itinatago ng bill ang dahilan. Ang dalawang request na mukhang pareho ay puwedeng magkaiba nang sampung beses sa token. Nagbabalik ang bawat chat completion ng usage block na may prompt_tokens, completion_tokens at, kung iniuulat ng provider, cached token. I-log ang mga iyon kada feature at kada user, nang walang prompt text. Pagkalipas ng isang linggo, alam mo na kung aling feature ang pinakamalakas gumastos at kung input, cache miss o output ang dahilan.
Ipinapakita ng usage logging na naka-redact ang PII ang isang log schema. Para tantiyahin ang laki ng isang feature bago ito i-ship, gamitin ang LLM API cost calculator o ang paraan sa tantiyahin ang gastos bago mag-launch.
2. Paano nakakabawas ng gastos ang prompt caching?
Kina-cache ng mga provider ang simula ng prompt na eksaktong umuulit. Binabasa ng susunod na call ang prefix na iyon sa cached na presyo. Naka-on by default ang caching ng OpenAI para sa mga supported na model, simula 1,024 token, at sinasabi nitong ang cached input ay “discounted up to 95%” (salin: may discount na hanggang 95%) (sinuri noong 2026-11-15). Sa BroadNet, sinisingil ng DeepSeek V4.1 Flash ang cached input sa $0.0055 kada 1M, laban sa $0.175 para sa bagong input.
Ang patakaran: nauuna ang static na content, nasa huli ang nagbabago. System prompt, saka tool schemas, saka mga shared na dokumento, saka history, saka ang bagong tanong. Ang timestamp o pinaghalong listahan ng tools sa itaas ay sumisira sa cache para sa lahat ng kasunod nito.
- Ipinaliwanag ang cached input token, kasama kung paano ito basahin sa response.
- Paano ayusin ang prompt para ma-cache ang prefix.
- I-model ang sarili mong hit rate sa prompt caching calculator.
3. Aling mga bawas sa prompt ang ligtas?
Tanggalin ang hindi ginagamit ng model. Mga karaniwang panalo: mahahabang system prompt na nakasulat na parang sanaysay, mas maraming few-shot example kaysa kailangan ng task, tool schemas para sa tools na hindi kailanman tinatawag ng hakbang, maligoy na JSON kung saan sapat na ang compact na table, at buong chat history kung saan sapat na ang buod. Lumilihis din ang retrieval: ang pagpapadala ng sampung chunk kung dalawa lang ang sumasagot sa tanong ay problema sa gastos at sa kalidad.
I-test ang bawat bawas laban sa isang fixed na set ng input, para hindi tahimik na masira ng mas murang prompt ang mga sagot. May sinukat na bawas para sa bawat isa nito sa bawasan ang prompt token. Mahalaga rin ang wika: mas maraming token kada salita ang Arabic kaysa Ingles sa karamihan ng tokenizer; tingnan ang token kada salita sa Arabic vs Ingles.
4. Paano limitahan ang output at reasoning?
Humingi nang mas kaunti, at lagyan ito ng hangganan. Humingi ng JSON fields imbes na prose, ng word limit imbes na “ipaliwanag”, at huwag nang ipaulit ang tanong. Pagkatapos, i-set ang max_tokens para huminto ang sagot na lumalampas.
Kailangan ng ingat sa mga thinking model. Sinasabi ng docs ng BroadNet na binibilang ang reasoning sa max_tokens, kaya puwedeng walang lamang sagot ang bumalik kapag mababa ang cap. Panatilihin ito sa 1,000 token o higit pa, at i-set ang reasoning_effort sa low sa mga simpleng hakbang. Sa mga per-token na key, sinisingil bilang output ang reasoning. Saklaw ng reasoning token: bakit mas marami ang binabayaran mo kaysa nakikita mo at ng ayos sa walang lamang sagot ang dalawang panig.
5. Paano pumili ng mas murang model nang hindi bumababa ang kalidad?
Ikumpara ang gastos kada matagumpay na task, hindi ang presyo kada token. Gumawa ng 50 hanggang 100 totoong input na may inaasahang output, patakbuhin ang bawat kandidato, at hatiin ang nagastos sa bilang ng pumasa. Ang model na mas mura kada token pero pumapalya sa ikatlong bahagi ng pagkakataon ay puwedeng mas mahal kapag isinama mo na ang mga retry at human review.
I-check muna ang mga feature. Sa BroadNet, para sa GLM 5.3 at Qwen3.8 27B lang naka-document ang tools at structured output. Ang Gemma 4 VL 26B ang mas maliit na text-and-image model ng BroadNet; tingnan ang presyo nito sa table sa itaas para sa mga simpleng task. Maraming app ang gumagamit ng maliit na model para sa madadaling hakbang at mas malaki para sa mahihirap; ikaw ang pumipili ng model sa sarili mong code. May test plan sa paano i-evaluate ang LLM bago lumipat.
Huwag nang hintaying bumaba ang presyo ng kasalukuyan mong model. Bihirang babaan ng mga provider ang presyo ng isang existing na model; kadalasan, kasama ng bagong version dumarating ang tipid. Tingnan ang kasaysayan ng presyo ng OpenAI vs Anthropic vs Google API at ang pinakamalalaking pagbaba ng presyo ng LLM API.
6. Puwede mo bang i-batch o ilipat ang trabahong puwedeng maghintay?
Kung inaalok ng provider, oo, at malaki ang discount. Lahat sinuri noong 2026-11-15:
| Provider | Discount | Kapalit |
|---|---|---|
| OpenAI Batch API | 50% kumpara sa synchronous na call | Natatapos sa loob ng 24 oras; hiwalay na rate limit |
| Anthropic Message Batches API | 50% | Asynchronous; karamihan ng batch ay tapos sa loob ng isang oras |
| DeepSeek API, off-peak | Kalahati ng peak ang off-peak rate | Peak ay 01:00 hanggang 04:00 at 06:00 hanggang 10:00 UTC, Lunes hanggang Biyernes |
Walang Batch API at walang off-peak na presyo ang BroadNet Inference. Para sa mga magdamagang job sa BroadNet, patakbuhin ang mga ito sa isang resumable runner sa normal na endpoint, pasok sa limit ng key mo. Nasa LLM batch processing nang walang Batch API ang code. Kung ilang oras tumatakbo ang job, puwedeng mas mura ang flat session kaysa sa mga token (hakbang 10).
7. Kailan dapat i-cache ang buong sagot?
Kapag dumating ulit ang parehong tanong na may parehong input. Inuulit ang trabaho ng mga FAQ bot, ng pag-classify ng paulit-ulit na item at ng muling pagpapatakbo ng pipeline pagkatapos mag-crash. Ang exact-match na cache na naka-key sa model, prompt at settings ay nagbabalik ng naka-store na sagot at nilalaktawan ang call. Mag-set ng expiry para hindi maluma ang mga sagot. May maliit na implementation sa i-cache ang LLM response sa Python.
8. Paano nasasayang ang pera sa retry at loop?
Bagong inference ang bawat na-retry na request at sinisingil ulit sa mga per-token na key. Mag-retry lang sa 429 at 5xx error, may exponential backoff at jitter, at limitahan ang bilang ng subok. Huwag kailanman i-retry ang 400: papalya rin sa parehong paraan ang parehong maling request.
May pangalawang panganib sa mga agent: isang loop na paulit-ulit na tumatawag sa model. Limitahan ang bilang ng hakbang kada task at huminto kapag umulit ang parehong tool call. Saklaw ng paghawak ng 429 error at ng 10 paraan para bawasan ang gastos ng coding agent ang dalawa.
9. Paano pigilan ang bill na lumobo?
Sinasabi sa iyo ng alert pagkatapos na ng nangyari. Ang limit ang pumipigil dito. Gumamit ng prepaid na balance, isang key kada app para ma-revoke mo ang isa nang hindi napapahinto ang iba, at IP allow-list sa mga server key. Sa code, mag-set ng budget kada job at huminto kapag naubos na. Inilalatag ng LLM API spend control ang mga layer, mula account hanggang request.
10. Kailan mas sulit ang flat-rate plan kaysa per-token na presyo?
Kapag tumatakbo ang isang agent sa halos buong araw. Ibinebenta ng BroadNet ang DeepSeek V4.1 Flash kada token o kada session: Full Moon $60 kada buwan, Orbit $15 kada linggo o Meteor $1 kada oras, nang walang token meter. Isang request sa bawat pagkakataon ang tinatakbo ng isang session.
Mga halimbawang scenario ng BroadNet sa per-token billing:
| Workload | Per token kada buwan | Mas murang opsyon |
|---|---|---|
| Side project | $14.23 | pay-as-you-go |
| Pang-araw-araw na assistant | $42.67 | pay-as-you-go |
| Full-time na coding agent | $65.40 | Full Moon |
| Laging-tumatakbong agent | $196.20 | Full Moon |
Sa 80% cache hit at 20 input token kada output token, break-even sa mga 917 milyon input at 46 milyon output token kada buwan. Mas mura pa rin kada token ang magaan na paggamit. Tingnan ang buong break-even na kuwenta, o subukan ang sarili mong volume sa flat-rate vs per-token calculator.
Aling mga hakbang ang dapat laktawan?
May mga sikat na payo na mas malaki ang gastos kaysa natitipid:
- Pag-compress ng prompt hanggang masira. Nawawala ang tipid sa input kapag bumaba ang kalidad ng sagot at nag-retry ang mga user.
- Pag-summarize ng history sa bawat turn. Dagdag na call ang bawat buod, at binabago nito ang prefix, kaya nagmi-miss ang cache. Mag-summarize nang madalang at idugtong na lang ang iba.
- Paghahabol sa pinakamababang presyo kada token lang. Nagdadagdag ng gastos ang rate limit, kulang na feature at failure rate.
- Pag-self-host para sa maliit na workload. Sinisingil kada oras ang GPU, may ginagawa man o wala. Ipinapakita ng gastos ng self-hosting vs API kung saan ang break-even.
Saan pumapasok ang BroadNet Inference
Ang BroadRouter ay sariling website ng BroadNet, kaya isaalang-alang iyon sa pagbasa ng bahaging ito. Ang BroadNet Inference ay isang OpenAI-compatible API na may apat na chat model na may presyo kada token, cached input sa tatlo sa mga ito, at flat na DeepSeek V4.1 Flash plan para sa tuloy-tuloy na paggamit ng agent. Wala itong Batch API o off-peak rate, kaya para sa malalaking job na puwedeng maghintay, puwedeng mas mura ang batch discount ng OpenAI o Anthropic, o ang off-peak hours ng DeepSeek. May $5 na panimulang credit ang mga bagong account, na sakop ang Gemma 4 VL 26B, ang parehong Transcribe model at ang Gemma hourly key; kailangan ng top-up para sa DeepSeek, GLM at Qwen. Walang SLA ang self-serve. Tingnan ang pricing o ikumpara ang mga plan.
