BroadRouter
Magsimula

Kontrol sa gastos ng LLM API: budget, limit sa key at loop protection

Ng BroadNet Inference team · 5 minutong basa · Nailathala · Na-update

Kontrolin ang gastos sa LLM API nang patong-patong: prepaid balance bilang kisame ng account, isang key kada app na naka-lock sa mga IP ng server mo, max_tokens at limit sa step sa bawat request, at budget sa code na humihinto sa job bago ito lumampas. I-log ang mga token kada key at mag-alert batay sa sarili mong numero. Nililimitahan ng flat na plan at hourly key ang pinakamasamang kaso.

Iisa ang sanhi ng karamihan ng gulat sa LLM bill: may patuloy na tumatawag sa API nang walang nagbabantay. Isang retry loop, isang agent na hindi matapos-tapos, isang key na na-leak sa pampublikong repository. Sinasabi sa iyo ito ng mga budget alert pagkatapos na. Bumubuo ang post na ito ng kontrol sa gastos nang patong-patong, mula sa account hanggang sa iisang request, at ipinapakita kung aling bahagi ang hinahawakan ng BroadNet Inference at alin ang idinadagdag mo sa code.

Bakit hindi sapat ang mga alert?

Ikinukumpara ng alert ang gastos sa isang threshold pagkatapos maitala ang usage. Kayang gumawa ng isang agent loop ng dose-dosenang request kada minuto. Pagdating ng email, wala na ang pera. Gamitin ang mga alert bilang huling depensa, at ilagay ang mahigpit na paghinto kung saan ginagawa ang request.

Ano ang mga layer ng kontrol sa gastos ng LLM?

Layer Kontrol Pinipigilan Saan mo ito itinatakda
Account Prepaid balance Gastos na lampas sa pinondohan mo Account ng provider
Key Isang key kada app o agent Isang leak na umuubos ng lahat Portal ng provider
Key IP allow-list Ninakaw na key na ginagamit sa ibang lugar Portal ng provider
Request max_tokens, reasoning_effort Isang napakalaking sagot Code mo
Job Limit sa step, limit sa retry, pagtuklas ng loop Mga runaway agent Code mo
Job Tumatakbong budget kada task at kada araw Mabagal na tagas sa maraming call Code o proxy mo
Reporting Token logging at mga alert Unti-unting paglihis na hindi mo mapapansin Logs mo
Presyo Flat na plan o hourly key Ang token meter mismo Pagpili ng plan

Antas ng account: paano nililimitahan ng prepaid balance ang gastos?

Kumukuha sa prepaid na balance ng account ang mga pay-as-you-go na key ng BroadNet Inference; nagsisimula ang mga bagong account sa $5 na credit at walang card. Kapag naubos ang pay-as-you-go allowance, nagbabalik ng 401 ang mga request, at nagbabalik ng 402 insufficient_balance ang binibiling hindi kayang bayaran ng balance (gaya ng hourly key). Ituring ang dalawa bilang hudyat na huminto, hindi bagay na ire-retry. Nakalista rin sa error reference ng BroadNet ang spending limit bilang isa sa mga sanhi ng 429, kaya basahin ang error body bago mo i-retry ang anumang 429. Lahat ng error code at paano hawakan ang 429 nang may backoff.

Ang balance ang panlabas mong kisame. Pondohan ito ayon sa handa mong mawala ngayong buwan, hindi para sa isang taon. Para matantiya ang numerong iyon, patakbuhin muna ang inaasahan mong traffic sa LLM API cost calculator.

Antas ng key: paano nililimitahan ang pinsala ng na-leak na key?

Ang API key ay kapangyarihang gumastos: sinumang may hawak nito ay magagamit ang balance mo. Limitahan ang abot ng pinsala ng bawat key:

  1. Isang key kada app, agent o environment. Pinapayagan ng BroadNet ang hanggang 10 live na key kada account, bawat isa valid nang hanggang isang taon. Pangalanan ang mga ito para sabihin ng logs kung alin ang gumastos.
  2. I-lock ang mga key sa mga server mo. Idagdag ang mga egress IP o CIDR range mo sa IP allow-list, hanggang 32 entry. 403 ang makukuha ng mga request mula sa ibang address.
  3. Mag-revoke nang mabilis. Ina-apply sa mga bagong request ang revocation at pagbabago sa allow-list sa loob ng limang segundo.
  4. Huwag ilagay sa mga server ang credentials ng portal. Kaya ng mga iyon na gumawa ng key at bumili. Tumatawag lang ng model ang mga inference key.

I-lock ang mga API key gamit ang IP allow-list.

Antas ng request: paano lalagyan ng hangganan ang bawat sagot?

Itakda ang max_tokens sa bawat call. Sa mga reasoning model (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B), panatilihin ito sa 1,000 o higit pa, dahil kahati ng pag-iisip ang budget at kapag masyadong mababa, walang laman na sagot ang babalik na babayaran mo pa rin. Babaan ang reasoning_effort sa mga simpleng task. Paano sinisingil ang reasoning token.

Antas ng job: paano pipigilan ang runaway na agent loop?

May mga palatandaang makikilala ang runaway loop: paulit-ulit na parehong tool call, context na lumalaki sa bawat turn, at mga error na nire-retry nang walang limit. Maglagay ng guard sa paligid ng client:

import json, os, urllib.request
from openai import OpenAI

# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)

class BudgetExceeded(Exception): pass

class Guard:
    def __init__(self, budget_usd, max_steps=40):
        self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []

    def call(self, **kw):
        self.steps += 1
        if self.steps > self.max_steps: raise BudgetExceeded("step cap")
        if self.spent >= self.budget: raise BudgetExceeded("budget")
        r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
        u = r.usage
        cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
        self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
                       + u.completion_tokens * PRICE["out"]) / 1e6
        calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
        self.last = (self.last + [calls])[-3:]
        if calls and len(self.last) == 3 and all(c == calls for c in self.last):
            raise BudgetExceeded("same tool call three times")
        return r

Binabasa ng guard ang mga presyo mula sa rate card imbes na i-hard-code, kaya tama pa rin ito kapag nagbago ang presyo. Ipasa sa call() ang parehong model na kinuwenta mo ang presyo. Panatilihing maliit ang max_retries: nagre-retry na ng 429 at 5xx ang mga OpenAI SDK, at sinisingil ulit ang bawat retry.

Para sa isang team, patakbuhin ang parehong check sa isang shared proxy para iisang araw-araw na budget ang pagkunan ng bawat service. Tumatama rin sa rate limit ang mga retry: ipinapakita ng rate limit calculator kung ilang call kada minuto talaga ang pinapayagan ng key mo.

Reporting: ano ang dapat i-log at i-alert?

I-log, para sa bawat request: key alias, pangalan ng feature o agent, model, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, status at X-Request-ID. Kapag naka-streaming, itakda ang stream_options: {"include_usage": true} o hindi kailanman darating ang usage (gabay sa streaming).

Mula sa logs na iyon, mag-alert kapag:

  • lumampas ang araw-araw na gastos kada key sa inaasahang bilang mula sa cost estimate mo;
  • higit sa tatlong beses ng median ang token kada task;
  • bumababa ang bahagi ng cache, na nagpapataas ng gastos kahit walang dagdag na traffic;
  • tumataas ang rate ng 429 o 5xx na response, na nangangahulugang may mga retry.

Nagtatago ang BroadNet ng mga record na walang content gaya ng timing, bilang ng token at gastos, hindi ng mga prompt, kaya sa sarili mong logs makikita ang detalye kada feature. Iwasang i-log ang content ng prompt kung ipinagbabawal ito ng data policy mo. Paano bumuo ng usage logging na may gastos kada user at feature.

Antas ng presyo: kailan mas mahusay ang flat na presyo kaysa sa budget?

Ang pinakamaaasahang kontrol sa gastos ay presyong hindi gumagalaw:

  • Plan session: $60 kada buwan (Full Moon), $15 kada linggo (Orbit) o $1 kada oras (Meteor) para sa unlimited na DeepSeek V4.1 Flash, isang request sa bawat pagkakataon. Hindi kailanman kumukuha sa balance mo ang mga request sa plan key.
  • Hourly key: $0.50 para sa isang oras ng Gemma 4 VL 26B sa iisang stream. Bagay sa mga key na lumalabas sa mga server mo. Ipinaliwanag ang hourly key.

Oras ang nasasayang ng loop sa isang plan, hindi pera. Kailangan mo pa rin ng limit sa step, dahil hinaharangan ng naipit na agent ang session para sa ibang trabaho. Nakadepende sa volume kung mas mura ang plan kaysa sa metered na bill mo; ibinibigay ng flat-rate vs per-token calculator ang break-even para sa halo ng token mo.

Puwede ring tumaas ang mga per-token na rate habang ginagamit mo. Ipinapakita ng 52 naka-archive na pagtaas ng presyo ng LLM API kung gaano kadalas iyon nangyari, sa aling mga provider at gaano kalaki.

Maikling checklist

  1. Prepaid balance na kasinlaki ng monthly limit mo.
  2. Isang may-pangalang key kada app, may IP allow-list.
  3. max_tokens sa bawat request.
  4. Limit sa step, limit sa retry at pagtuklas ng paulit-ulit na call sa bawat agent.
  5. Tumatakbong gastos kada job, sinusuri bago ang bawat call.
  6. Token logging kada request, may alert sa sarili mong threshold.
  7. Flat na plan o hourly key saanman tuloy-tuloy ang paggamit o nakalantad ang key.

Saan pumapasok ang BroadNet Inference

Ibinibigay ng BroadNet ang mga layer ng account at key: prepaid balance, hiwalay na mga key, IP allow-list na may revocation sa loob ng ilang segundo, at mga flat-price na plan at hourly key. Hindi nito ibinibigay ang mga budget sa antas ng job sa post na ito; sa code o proxy mo nabibilang ang mga iyon. Kung kailangan mo ng budget kada team sa maraming provider, isang gateway sa harap ng lahat ng iyon ang tamang tool. Basahin ang presyo.

Mga tanong

Paano ako maglalagay ng spending limit sa isang LLM API?

Gamitin ang prepaid balance o spending cap ng provider bilang panlabas na limit, pagkatapos ay ipatupad sa code ang sarili mong budget kada job at kada araw bago ang bawat request, dahil puwedeng mahuli ang mga limit at alert ng provider sa isang mabilis na loop.

Paano ko pipigilan ang AI agent na magpalaki nang husto ng bill?

Lagyan ng limit ang step kada task at ang retry, magtakda ng max_tokens sa bawat request, tuklasin ang paulit-ulit na magkaparehong tool call, at ihinto ang job kapag lumampas sa budget ang tumatakbong gastos nito.

Dapat ko bang i-retry ang 401 o 402 na error kapag naubos ang balance ko?

Hindi. Sa BroadNet, nagbabalik ng 401 ang naubos na pay-as-you-go allowance, at ang 402 insufficient_balance ay nangangahulugang hindi kayang bayaran ng account ang isang binibili gaya ng hourly key. Lagyan muna ng pondo ang account. Ang 429 at 5xx ang i-retry nang may backoff.

Ano ang dapat kong i-log para masubaybayan ang gastos sa LLM?

Kada request, i-log ang key alias, pangalan ng feature o agent, model, prompt_tokens, cached_tokens, completion_tokens, status code at request ID. I-multiply sa price file para makuha ang gastos.

Isang uri ba ng kontrol sa gastos ang flat-rate na plan?

Oo. Pareho ang presyo ng plan session o hourly key gaano man karaming token ang gamitin nito, kaya oras ang nasasayang sa isang loop, hindi pera.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity