BroadRouter

Paano tantiyahin ang gastos sa LLM API bago mag-launch ng feature

Ng BroadNet Inference team · 6 minutong basa · Nailathala · Na-update

Tantiyahin ang gastos sa LLM API sa pamamagitan ng pagmomodelo ng isang user action, hindi ng isang API call: bilangin ang call kada action, sukatin ang input, cached at output token kada call sa totoong sample, saka i-multiply sa user at action kada buwan. Idagdag ang reasoning at retry, at presyuhan ang mababa, inaasahan at mataas na scenario. $42.67 kada buwan ang halimbawa namin sa DeepSeek V4.1 Flash.

Para tantiyahin ang gastos sa LLM API bago mag-launch, presyuhan ang isang user action sa halip na isang API call. Bilangin ang mga call sa likod nito, sukatin ang bagong input, cached input at output token sa 20 hanggang 50 totoong sample, i-multiply sa buwanang action, saka idagdag ang reasoning at retry. $42.67 kada buwan ang halimbawa naming support reply sa DeepSeek V4.1 Flash.

Forecast ito bago mag-launch para sa isang feature; kapag may nagbabayad ka nang user, saklaw ng gastos sa LLM kada user para sa SaaS ang margin at pricing tier.

Ano ang formula ng gastos sa LLM API?

monthly cost = actions per month × calls per action
             × ( new input tokens × input price
               + cached input tokens × cached price
               + output tokens × output price ) / 1,000,000

Kasama ang reasoning sa output token. Ang cached token ay input na muling ginagamit ng provider sa mas mababang presyo. Pagsukat na ang lahat ng iba pa. Inilalapat ng libreng LLM API cost calculator ang formula na ito sa list price ng kahit anong model.

Paano buuin ang cost model, hakbang-hakbang?

  1. Pangalanan ang unit ng trabaho. “Gumawa ng draft ng support reply”, “ibuod ang isang tawag”, “ayusin ang pumapalyang test”. Iyan ang presyuhan, hindi “isang request”.
  2. Bilangin ang call kada action. Puwedeng isang call lang ang sagot na may retrieval. Puwedeng sampu ang agent na nagpaplano, nag-e-edit at nagche-check. Idagdag ang retry rate mo: sinisingil ulit ang timeout na nire-retry mo.
  3. Sukatin ang token kada call sa totoong sample. Kumuha ng 20 hanggang 50 makatotohanang input, hindi malilinis na demo. Para sa unang magaspang na bilang bago ka tumawag ng kahit anong API, i-paste ang mga ito sa token counter. Basahin ang usage.prompt_tokens, usage.prompt_tokens_details.cached_tokens at usage.completion_tokens mula sa bawat response. Kapag streaming, i-set ang stream_options: {"include_usage": true}; ipinapakita ng gabay sa streaming kung saan ito lumalabas.
  4. Paghiwalayin ang bago at cached na input. Puwedeng ma-cache ang system prompt, listahan ng tools at mga shared na dokumento kung nauuna ang mga ito at hindi nagbabago. Hindi puwede ang text ng user.
  5. Isama ang reasoning sa output. Nag-iisip muna bago sumagot ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B. Sinisingil bilang output ang mga reasoning token na iyon, at kadalasang mas malaki ang mga ito kaysa sa nakikitang sagot. Bakit mas mahal ang reasoning kaysa sa nakikita mo.
  6. Tantiyahin ang volume. Aktibong user × action kada user kada araw × 30.
  7. I-multiply at pagsamahin. Gawing milyon ang kabuuang token at ilapat ang presyo kada 1M.
  8. Presyuhan ang tatlong scenario. Mababa, inaasahan at mataas. Hindi tiyak ang traffic sa launch, at humahaba ang mga prompt sa paglipas ng panahon.
  9. Suriin ang limits, hindi lang ang pera. Dapat kasya sa rate limit ng key mo ang peak na request kada minuto at request na in flight.
  10. Pagpasyahan ang billing model. Per token para sa pabago-bago at user-driven na traffic; flat plan para sa mga agent na laging naka-on.

Ano ang hitsura ng halimbawang tantiya? Isang support reply drafter

Nagdagdag ang isang help-desk app ng “Draft reply”. Mga palagay lang para sa paglalarawan ang mga numero sa ibaba. Palitan ang bawat isa ng sarili mong sukat.

Input Value Pinagmulan
Mga support agent (staff) na gumagamit ng feature 500 Product plan
Draft kada agent kada araw 4 Usage sa pilot
Araw kada buwan 30
Action kada buwan 60,000 500 × 4 × 30
Call kada action 1 Isang call na may retrieved na artikulo
Input token kada call 5,000 System prompt, thread ng ticket, tatlong help article
Bahagi ng input na cached 50% Stable na system prompt at prefix ng artikulo
Output token kada call 500 Mga 200 nakikita, 300 reasoning
Model DeepSeek V4.1 Flash $0.175 / $0.0055 / $0.52 kada 1M

Ngayon ang mga kabuuan:

Linya Token kada buwan Presyo kada 1M
Bagong input 150M $0.175
Cached input 150M $0.0055
Output, kasama ang reasoning 30M $0.52
Inaasahang buwanang gastos $42.67

Iyan ay 300M input at 30M output token: 60,000 × 5,000 at 60,000 × 500.

Gaano kalawak dapat ang mababa at mataas na scenario?

Scenario Action kada buwan Input / output token Buwanang gastos
Mababa: mabagal na adoption 20,000 100M / 10M $14.23
Inaasahan 60,000 300M / 30M $42.67
Mataas: 3× na adoption 180,000 900M / 90M 3 × $42.67

Pare-parehong 50% ang cache share ng tatlo. Kapag bumaba ang cache share, tataas ang bill: $0.175 kada 1M ang bagong input sa model na ito laban sa $0.0055 kapag cached. Paano panatilihing mataas ang cache share.

Ano ang pinakanagpapagalaw sa tantiya?

  • Haba ng context. Puwedeng dumoble ang input kapag sampung artikulo ang kinukuha ng retrieval sa halip na tatlo. Sukatin ang token pagkatapos ng bawat pagbabago sa prompt.
  • Reasoning. Pinaliliit ng pag-set ng reasoning_effort sa low sa mga simpleng draft ang nakatagong output. Reasoning at max_tokens.
  • Retry at loop. Nagdadagdag ng 5% sa bawat linya ang 5% na retry rate. Walang kisame talaga ang agent loop na walang cap sa hakbang. Kontrol sa gastos para sa LLM API.
  • Pagpili ng model. $0.10 input at $0.22 output kada 1M ang Gemma 4 VL 26B, pero 32,768 token ang context nito at hindi nakalista sa BroadNet ang reasoning para dito. I-test ang kalidad bago lumipat para makatipid.
  • Wika. Puwedeng mangailangan ng mas maraming token ang parehong content sa Arabic o Hindi kaysa sa English, at nakadepende sa tokenizer ang agwat. Ipinapakita ng dataset naming tunay na gastos ayon sa wika ang presyo kada 1M character para sa bawat wika sa bawat model at provider.
  • Paglaki ng prompt. Karaniwang humahaba ang mga prompt pagkatapos ng launch habang hinaharap ang mga edge case. Ulitin ang pagsukat sa bawat release.
  • Pagbabago ng presyo. Bihirang gumalaw ang list price, pero puwede itong tumaas. Sa mga naka-archive na pricing page ng 11 provider, nakapagtala kami ng 52 pagtaas ng list price mula 2024 hanggang Nobyembre 2026, bawat isa ay presyo ng isang model kumpara sa sarili nitong naunang presyo (laban sa 100 pagbaba); 40% ang median na pagtaas sa blended na presyo. Tingnan ang paano mag-budget para sa pagtaas ng presyo ng LLM API.

Kung masyadong mataas ang lumabas na tantiya, sundan ang 10-hakbang na checklist para bawasan ang gastos sa LLM API bago mo baguhin ang feature.

Kasya ba ang volume sa rate limit?

Mga 2,000 kada araw ang 60,000 action kada buwan. Kung ikasampung bahagi ng mga draft sa isang araw ang dumating sa pinakaabalang oras, 200 iyon kada oras, o mga 3 kada minuto. 30 request kada minuto at 4 in flight ang pinapayagan ng pay-as-you-go key ng BroadNet, kaya kasya ito sa isang key. Suriin din ang mataas na scenario, o patakbuhin ang sarili mong peak sa rate limit calculator. Para sa math sa pagitan ng rate at request na in flight, tingnan ang concurrency. Kapag tumama ka sa 429, mag-back off at mag-retry.

Dapat bang tumakbo ang feature na ito sa flat plan?

Malamang hindi. $60 kada buwan ang Full Moon session, pero isang request sa bawat pagkakataon ang isang session, at kailangan ng parallel na request kapag maraming user ang sabay-sabay na nagki-click ng “Draft”. Bagay ang flat plan sa mga agent na tuloy-tuloy na gumagana, gaya ng coding agent. Ipinapakita ng break-even math na $65.40 kada buwan ang full-time na coding agent kung per token, mas mataas sa presyo ng plan.

Paano gawing budget ang tantiya?

  1. Ilagay ang inaasahang numero sa plano mo at ang mataas na numero sa alert threshold mo.
  2. I-log ang token kada action sa production at ihambing sa model linggo-linggo.
  3. Magtakda ng mahigpit na cap sa code: max_tokens, limit sa hakbang at limit sa retry.
  4. Ulitin ang tantiya tuwing papalitan mo ang model, ang prompt o ang retrieval settings.

Puwede mong ulitin ang per-token na math gamit ang sarili mong mga numero sa LLM API cost calculator, o paghambingin ang plan at per-token sa pricing page.

Saan bagay ang BroadNet Inference

Inilalathala ng BroadNet Inference ang per-token na presyo ng bawat chat at transcription model na sine-serve nito sa iisang price file, kaya puwedeng itago sa code ang tantiya sa itaas. May $5 na starting credit ang bagong account na magagamit sa Gemma 4 VL 26B at sa dalawang transcription model, kaya masusukat mo ang mga sample mo sa Gemma; kailangan ng top-up para sa DeepSeek, GLM at Qwen. Kung kailangan ng feature mo ng closed frontier model, hindi ang BroadNet ang tamang provider para sa bahaging iyon.

Mga tanong

Paano ko tatantiyahin ang bilang ng token bago pa ako magkaroon ng user?

Gumawa ng 20 hanggang 50 makatotohanang input, patakbuhin ang mga ito sa model na balak mong gamitin, at basahin ang prompt_tokens, cached_tokens at completion_tokens mula sa usage block. Kunin ang average kada call.

Ilang token ang karaniwang chat request?

Malaki ang pagkakaiba-iba. Puwedeng ilang daang token lang ang maikling chat turn, samantalang puwedeng sampu-sampung libo ang request na may retrieved na dokumento o mahabang history. Sukatin ang sarili mong mga prompt.

Dapat ba akong magdagdag ng safety margin sa tantiya ko ng gastos sa LLM?

Oo. Presyuhan ang mataas na scenario sa dalawa hanggang tatlong beses ng inaasahang volume, at maglaan ng budget para sa retry at mas mahahabang prompt habang lumalaki ang feature. Pagkatapos, magtakda ng mahigpit na limit para hindi ito malampasan dahil sa isang bug.

Kailan ako dapat mag-isip ng flat-rate plan sa halip?

Kapag tumatakbo ang isang agent o worker sa karamihan ng araw sa iisang model. Para sa DeepSeek V4.1 Flash sa BroadNet, $60 kada buwan ang Full Moon session, walang token meter, isang request sa bawat pagkakataon.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity