BroadRouter

Spend limit

Na-update

Ang spend limit ay hangganan sa kung magkano ang puwedeng gastusin ng isang API account, project o key sa isang yugto, kadalasang isang buwan. Kapag naabot ito, tinatanggihan ng provider ang mga susunod na request, madalas na may HTTP 429 o 400 na error, hanggang mag-reset ang yugto o itaas ang limit.

Tinatawag ding: limit sa gastos, budget ng API, spending limit, spend cap, budget cap, usage cap

Kinokontrol ng rate limit kung gaano kabilis ka puwedeng gumastos. Kinokontrol ng spend limit kung magkano.

Paano ito gumagana

Patong-patong na cap ang inilalagay ng mga provider. Dalawang dokumentadong halimbawa:

Provider Kontrol Ano ang nangyayari kapag naabot
Anthropic Tier spend cap kada calendar month (Start, Build, Scale; wala sa Custom) Huminto ang paggamit hanggang 00:00 UTC sa unang araw ng susunod na buwan; HTTP 429 rate_limit_error na may error.details.error_code na enforced_spend_limit_reached, walang retry-after
Anthropic Sarili mong mas mababang limit, sa organisasyon o workspace HTTP 400 invalid_request_error, may message na nagsisimula sa “You have reached your specified API usage limits”
OpenAI Buwanang usage limit kada tier Hindi inilarawan sa gabay
OpenAI Spend alert Nagpapadala ng abiso; tuloy ang traffic
OpenAI Hard spend limit, sa organisasyon o project Nagbabalik ng 429 ang mga apektadong request

USD 500 (Start), USD 1,000 (Build) at USD 200,000 (Scale) kada buwan ang mga tier cap ng Anthropic. Inililista ng gabay ng OpenAI ang buwanang usage limit kada tier, mula USD 100 sa Free hanggang USD 200,000 sa Grow, at sinasabing tumataas ang tier habang lumalampas sa mga threshold ang kabuuang biniling credit.

Ang mahirap dito, kamukha ng rate-limit 429 ang spend-limit 429. Sa API ng Anthropic, ang error code ang nagpapaiba sa dalawa, at walang retry-after header ang response sa spend cap:

err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
    stop_job_and_alert()      # retrying will not help
elif resp.status_code == 429:
    backoff_and_retry()

Bakit ito mahalaga

  • Huli ang mga alert. Malaki ang puwedeng magastos ng mabilis na loop bago dumating ang email. Ang hard cap ang pumipigil dito.
  • Lalong lumalala sa retry. Walang saysay na pupukpukin ang spend cap ng client na nagba-back off at nagre-retry sa bawat 429. Paghiwalayin ang dalawa.
  • Shared na cap. Kapag iisang cap sa antas ng account ang pinaghahatian ng maraming app, puwedeng harangin ng isang nagwawalang job ang iba. Pinaghihiwalay sila ng budget kada project o ng sarili mong budget sa code.

Sa BroadNet Inference

Anim na limit sa pay-as-you-go key ang inililista ng API reference ng BroadNet. Ang tatlong naglilimita sa gastos at throughput ay 30 request kada minuto, 4 na sabay-sabay, at gastos, na binibigyang-kahulugan bilang “the native budget shared by the account’s pay-as-you-go keys” (Salin ng BroadRouter: “ang native budget na pinaghahatian ng mga pay-as-you-go key ng account”); ang iba ay ang mga pinapayagang model, isang taong buhay ng key, at hanggang sampung aktibong key kada account. Prepaid ang account, kaya ang balance ang panlabas na cap. Dalawang status code ang mahalaga:

  • 429: “A rate, concurrency, token-rate or spending limit was reached.” (Salin ng BroadRouter: “Naabot ang rate, concurrency, token-rate o spending limit.”)
  • 401: nawawala, invalid o expired na key, o account na naka-block ang shared na pay-as-you-go budget (ang wording ng docs ay “a blocked native PAYG budget holder”), “including exhausted PAYG allowance” (Salin ng BroadRouter: “kasama ang naubos na PAYG allowance”).

Sabi ng privacy page ng BroadNet, naka-scope ang mga key ayon sa model, rate at gastos, pero walang setting ng budget kada key o kada project sa API reference, kaya maglagay ng tumatakbong budget check sa sarili mong code bago ang bawat request, gaya ng sa LLM API spend control. Para sa takdang pinakamasamang kaso, nililimitahan na ng disenyo ang gastos sa isang flat-rate plan o hourly key na $0.50. Nasa gabay sa errors at retries ang paghawak ng retry.

Mga tanong

Dapat ko bang i-retry ang request na tumama sa spend limit?

Hindi. Ayon sa Anthropic, walang retry-after header ang 429 nito para sa spend cap, at papalya ang mga retry hanggang bumalik ang access. Abisuhan ang isang tao o itigil ang job.

Pareho ba ang spend alert at spend limit?

Hindi. Pinaghihiwalay ng OpenAI ang spend alert, na nag-aabiso lang at hinahayaang tumuloy ang traffic, at ang hard spend limit, na nagpapabalik ng 429 sa mga request.

Puwede ba akong mag-set ng hiwalay na budget kada BroadNet key?

Sabi ng privacy page ng BroadNet, kinokontrol ng mga scoped API key ang access ayon sa model, rate at gastos, pero sa API reference nito, ang gastos sa pay-as-you-go key ay ang native budget na pinaghahatian ng mga key ng account, at walang setting para sa budget kada key. Tingnan ang detalye ng key mo, at ipatupad ang budget kada app sa sarili mong code.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity