BroadRouter

10 paraan para bawasan ang gastos sa LLM ng coding agent, may tantiya

Ng BroadNet Inference team · 6 minutong basa · Nailathala

Karamihan ng gastos ay input na muling ipinapadala kada turn. Panatilihing stable ang prefix ng prompt para ma-cache, pangalanan ang mga file, bawasan ang tool output, ibaba ang reasoning effort, limitahan ang loop at retry, at ipasa sa mas murang model madadaling hakbang. Sa DeepSeek V4.1 Flash, mga 3% ng bagong input ang presyo ng cached input. Lampas sa mga 917 milyon input token kada buwan, mas mura ang flat plan na $60.

Iba ang paglaki ng bill ng coding agent kumpara sa bill ng chat. Bawat turn, ipinapadala ulit ang system prompt, ang listahan ng tools, ang mga file na nabasa na nito at ang usapan hanggang ngayon. Pagdating ng turn 30, puwedeng may dalang daan-daang libong input token ang isang request, at karamihan dito ay ulit lang. Tinatarget ng sampung paraan sa ibaba kung saan napupunta ang mga token na iyon. Bawat isa ay may tantiyang tipid at ipinapakita ang math, gamit ang presyo ng BroadNet Inference na na-sync noong 2026-11-14. Iba ang magiging numero mo, kaya sukatin bago at pagkatapos.

Saan napupunta ang pera ng coding agent?

Tatlong metro, ayon sa laki para sa karamihan ng agent:

  1. Input, ipinapadala ulit kada turn. Karamihan ay puwedeng i-cache.
  2. Output, kasama ang reasoning token na hindi mo nakikita.
  3. Sayang: retry, loop na walang pag-usad, at context na hindi naman kailangan.

Basahin ang prompt_tokens, prompt_tokens_details.cached_tokens at completion_tokens para sa isang araw ng totoong trabaho bago ka magbago ng kahit ano. Ipinapakita ng saan napupunta ang token ng agent loop kung paano ito hatiin.

Aling mga paraan ang pinakamalaki ang tipid?

# Paraan Ano ang binabawasan Tantiyang tipid
1 Panatilihing stable ang prefix ng prompt Bagong input Bumababa nang kalahati o higit pa ang input bill
2 Pangalanan ang mga file sa halip na ipahanap sa agent Mga turn ng paghahanap Mas kaunting turn, mas kaunting pagpapadala ulit
3 Bawasan ang tool output Input sa bawat susunod na turn Lumalaki ayon sa laki ng log
4 Ibaba ang reasoning effort sa mga karaniwang hakbang Nakatagong output Depende sa halo ng task
5 Lagyan ng limit ang hakbang kada task Runaway loop May kisame na ang pinakamasamang kaso
6 Lagyan ng limit at i-log ang retry Dobleng request Bawat naiwasang retry ay isang buong request
7 Magsimula ng bagong session kada task Lumang history Mas maikling context kada turn
8 Ipasa ang madadaling hakbang sa mas murang model Presyo kada token Malaki sa mga ipinasang hakbang
9 Bihirang mag-summarise, madalas mag-append Cache miss Pinapanatiling gumagana ang paraan 1
10 Lumipat sa flat plan lampas sa break-even Ang token meter $5.40 kada buwan sa halimbawa namin

1. Panatilihing stable ang prefix ng prompt para ma-cache ito

Ang cached input sa DeepSeek V4.1 Flash ay $0.0055 kada 1M; ang bagong input ay $0.175, mga 32 beses na mas mahal. Ayusin ang prompt sa ganitong pagkakasunod: system prompt, tools, mga file, history, bagong mensahe. Huwag kailanman maglagay ng timestamp sa itaas. Iniulat ng Cursor noong Setyembre 2026 na ang mga pagbabago sa harness nito, kasama ang system prompt na mga dalawang-katlo na mas maikli at tools na nilo-load lang kapag kailangan, ay nagbawas ng 7% sa gastos sa token ng mga user. Paano i-structure ang prompt para ma-cache ang prefix.

Tantiyang tipid. Halimbawa, 1,000M input token kada buwan. Sa 50% cache hit, presyo ng bagong input ang babayaran mo sa 500M; sa 80%, sa 200M lang. Kasama ang cached na bahagi, bumababa ang input bill nang mga 56%. Paano itaas ang cache rate mo, o subukan ang sarili mong numero sa prompt caching calculator.

2. Sabihin sa agent kung aling mga file ang mahalaga

Pinapahanap ng malabong task (“ayusin ang login bug”) ang agent: naglilista ng directory, nagbubukas ng file, binabasa ang mga ito papunta sa context. Bawat file na binuksan nito ay ipinapadala ulit sa bawat susunod na turn. Pangalanan ang mga file at ang inaasahang pagbabago. Maglagay ng maikling project map sa repository na unang babasahin ng agent.

Tantiyang tipid. Kung binasa ang 40,000-token na file sa turn 3 ng 30-turn na task, ipinapadala ito ulit nang mga 27 beses: higit sa isang milyong input token para sa iisang file. Kung hindi ito babasahin, matitipid lahat iyon.

3. Bawasan ang tool output bago ito pumasok sa context

Puwedeng magbalik ng sampu-sampung libong token ang test runner, build log at git diff. Ipakita sa agent ang huling 100 linya ng log o ang mga pumalyang test lang. Karamihan ng tools ng agent ay may setting para sa limit ng output ng command.

Tantiyang tipid. Pareho ang math sa paraan 2: bawat token na binawas mo ay natitipid nang isang beses kada natitirang turn.

4. Ibaba ang reasoning effort sa mga karaniwang hakbang

Nag-iisip muna ang DeepSeek V4.1 Flash at GLM 5.3 bago sumagot, at sinisingil bilang output ang pag-iisip na iyon. I-set ang reasoning_effort: "low" para sa rename, formatting at maliliit na edit. Panatilihing sapat ang taas ng max_tokens para matapos ito, kung hindi ay magbabayad ka sa pag-iisip at walang laman ang sagot. Gastos ng reasoning token.

Tantiyang tipid. Sukatin ang completion_tokens_details.reasoning_tokens bago at pagkatapos sa parehong 20 task. Ang tipid ay ang ibinaba nito na pinarami sa presyo ng output ($0.52 kada 1M).

5. Lagyan ng limit ang hakbang kada task

Ang agent na hindi maayos ang isang test ay puwedeng mag-loop nang 100 turn, at bawat isa ay mas malaki kaysa sa nauna. Magtakda ng maximum na bilang ng turn kada task, at ihinto kapag tatlong beses nang umulit ang parehong tool call. Ginagawang may hangganan ng step cap ang gastos na dati ay walang hangganan.

6. Lagyan ng limit at i-log ang retry

Ang inulit na request ay bagong inference, at sinisingil ulit sa per-token na key. I-retry ang 429 at 5xx nang may backoff at nakapirming limit; huwag i-retry ang ibang 4xx error gaya ng 400 o 422. Mga error at retry.

7. Magsimula ng bagong session para sa bawat task

Pabigat lang sa susunod na task ang history ng nakaraang task. Pinapanatiling maliit ng bagong session kada task ang context. Hindi ito sumasalungat sa caching: ang system prompt at tools pa rin ang bumubuo ng shared na prefix na puwedeng i-cache.

8. Ipasa ang madadaling hakbang sa mas murang model

Hindi lahat ng hakbang ay nangangailangan ng parehong model. Puwedeng ipasa ang commit message, linya ng changelog at simpleng classification sa Gemma 4 VL 26B sa $0.10 input at $0.22 output kada 1M. Kung GLM 5.3 ang gamit mo sa mga hakbang na mabigat sa tools, ipasa ang iba sa DeepSeek V4.1 Flash: mga 6.7 beses na mas mahal ang output ng GLM 5.3. GLM 5.3 vs DeepSeek V4.1 Flash.

Mag-ingat. Sukatin ang gastos kada natapos na task. Puwedeng mas mahal ang mas murang model na dobleng turn ang kailangan.

9. Bihirang mag-summarise, at i-append ang iba

Kapag kinocompress ng agent ang history nito, isinusulat nito ulit ang prompt at nagsisimula ulit ang cache. Mag-summarise lang kapag malapit na sa limit ang context, sa isang malaking hakbang, saka mag-append ulit. Pinapanatili nitong gumagana ang paraan 1.

10. Lumipat sa flat plan kapag lumampas ka na sa break-even

Ginagantimpalaan ng per-token na billing ang maliit na paggamit. Hindi maliit ang full-time na agent. Sa halimbawang kinuwenta ng BroadNet, ang full-time na coding agent (1,000M input sa 80% cache, 50M output) ay $65.40 kada buwan kung per token; ang laging nakabukas na agent ay $196.20. Ang Full Moon session ay $60 kada buwan, walang token meter, isang request sa isang pagkakataon. Sa puntong iyon, nakakatipid pa rin ng oras ang mga paraan 1 hanggang 9, pero hindi na ng pera. Tingnan ang sarili mong volume sa flat-rate vs per-token calculator, o basahin ang math ng break-even at ang pagpapatakbo ng sabay-sabay na agent sa flat rate.

Paano mo malalaman kung gumana ang isang paraan?

  1. Pumili ng 20 representatibong task mula sa backlog mo.
  2. Patakbuhin ang mga ito sa kasalukuyang setup mo at i-log ang token kada task.
  3. Isa-isang i-apply ang mga paraan at patakbuhin ulit.
  4. Ikumpara ang gastos kada natapos na task, hindi ang gastos kada request.

Para sa mga app na hindi coding agent, nasa paano bawasan ang gastos sa LLM API ang parehong mga pingga sa mas pangkalahatang pagkakasunod.

Mga setup guide para sa karaniwang agent: Aider, Cline, Zoo Code, ang fork ng Roo Code na isinara na at OpenCode.

Saan pumapasok ang BroadNet Inference

Nagbibigay ang BroadNet sa mga coding agent ng murang cached-input rate sa DeepSeek V4.1 Flash at, para sa mabigat na paggamit, unlimited na session mula $60 kada buwan, sa OpenAI-compatible na endpoint na suportado na ng mga agent na ito. Hindi ito nagpapatakbo ng closed frontier model, kaya kung kailangan ng agent mo ang isa nito para sa pinakamahirap na hakbang, panatilihin ang model na iyon sa sarili nitong vendor at dito ipadala ang karamihan ng turn. Tingnan ang mga plan.

Mga tanong

Bakit ang mahal patakbuhin ng coding agent?

Ipinapadala nito ulit ang system prompt, tool definition, laman ng mga file at history kada turn, kaya lumalaki ang input token sa bawat hakbang. Dagdag pa ang reasoning, na nakatagong output.

Ano ang pinakamalaking paraan para bawasan ang gastos ng coding agent?

Panatilihing pareho ang simula ng prompt sa bawat turn para masingil ito bilang cached input. Sa DeepSeek V4.1 Flash, $0.0055 kada 1M ang cached input laban sa $0.175.

Laging mas mura ba ang mas murang model para sa coding agent?

Hindi. Puwedeng mas malaki ang kabuuang gastos ng mas mahinang model na mas maraming hakbang ang kailangan, o pumapalya at umuulit. Sukatin ang gastos kada natapos na task, hindi kada token.

Kailan mas mura ang flat-rate plan para sa coding agent?

Para sa DeepSeek V4.1 Flash, sa mga 917 milyon input at 46 milyon output token kada buwan na may 80% cache hit. Kadalasang lumalampas diyan ang full-time na agent.

Paano ko pipigilan ang coding agent na mag-loop at umubos ng token?

Lagyan ng limit ang bilang ng turn kada task, ihinto kapag tatlong beses nang umulit ang parehong tool call, at lagyan ng limit ang retry sa 429 at 5xx error. Ginagawang may hangganan ng step cap ang gastos na dati ay walang hangganan.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity