Pinoprotektahan ng bawat shared na API ang sarili nito gamit ang mga limit. Kapag alam mo kung alin ang umiiral, alam mo kung gaano ka kabilis puwedeng tumakbo at ano ang gagawin kapag naabot mo ang isa.
Paano ito gumagana
Sabay-sabay na sinusukat ng mga LLM API ang ilang bagay. Halimbawa, inililista ng OpenAI ang:
- RPM: request kada minuto
- RPD: request kada araw
- TPM: token kada minuto
- TPD: token kada araw
Kung aling limit ang una mong maabot, iyon ang umiiral. Marami ring provider ang naglilimita ng concurrency, ang bilang ng request na tumatakbo nang sabay.
Kapag lampas na sa limit, ibinabalik ng server ang 429 Too Many Requests. Inilalarawan ito ng MDN bilang client na “sent too many requests in a given amount of time.” (Salin ng BroadRouter: “nagpadala ng sobrang daming request sa isang takdang tagal ng oras.”) Puwedeng sabihin ng Retry-After header kung ilang segundo ang hihintayin.
Isang ligtas na retry loop:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
Nagre-retry na nang may backoff ang mga opisyal na OpenAI SDK sa 429 at 5xx na error; i-set ang max_retries sa halip na sumulat ng sarili mong loop.
Bakit ito mahalaga
- Throughput. Ang totoong kisame mo ay ang pinakamababa sa lahat ng limit. Sa key na limitado sa 30 request kada minuto, gaya ng mga pay-as-you-go key ng BroadNet, aabutin ng hindi bababa sa 1,000 ÷ 30 minuto ang 1,000 request, gaano man kabilis ang model. Kinukuwenta ng rate limit calculator ito para sa sarili mong mga limit.
- Reliability. Mukhang outage ang mga 429 na hindi hina-handle. Ginagawa itong maikling delay ng backoff.
- Gastos. May mga provider na nagbabalik din ng 429 para sa spending cap, na karaniwan sa mga pay-as-you-go key. Basahin ang error body bago mag-retry.
Sa BroadNet Inference
| Uri ng key | Mga limit |
|---|---|
| Pay-as-you-go | 30 request kada minuto, 4 na sabay-sabay |
| Hourly key | 120 request kada minuto, isang stream, 300,000 token kada minuto |
| Unlimited plan | Isang request sa bawat pagkakataon kada session, walang token meter |
Nagbabalik ang BroadNet ng 429 kapag naabot ang rate, concurrency, token-rate o spending limit. Maghintay muna at mag-retry. Sakop ng gabay sa errors at retries ang bawat status code, at ipinapaliwanag ng ano talaga ang ibig sabihin ng “unlimited” kung aling mga limit ang mayroon pa rin sa flat plan.
Mga karaniwang pagkakamali
- Pag-retry ng 401 o 403 na error. Problema sa key o sa policy ang mga iyon, hindi rate limit.
- Pagpapatakbo ng maraming worker sa iisang key nang walang shared na limiter. Mag-isang nagba-back off ang bawat worker habang pinupuno pa rin ng iba ang key.