Kapag hinanap mo ang “LLM API rate limits”, makakakita ka ng mga table sa blog na hindi nagtutugma, kadalasan dahil kinopya nila ang lumang numero. Binasa ng page na ito ang bawat numero mula sa sariling documentation ng provider noong Nobyembre 15, 2026, sinasabi kung aling tier at model ang sakop nito, at iniiwang blangko ang cell kapag walang inilalathala ang provider. Para sa parehong data bilang dataset na puwedeng i-download, kasama ang libreng credit at mga tuntunin sa paggamit ng data, tingnan ang free tier at rate limit ng mga LLM API. Sariling site ng BroadNet ang BroadRouter, at nasa table din ang mga limit ng BroadNet.
Ano ang ibig sabihin ng RPM, TPM, RPD at concurrency?
Nililimitahan ng rate limit kung gaano karami ang puwede mong ipadala sa isang time window. Magkakaiba ang binibilang ng mga provider:
| Limit | Ano ang binibilang | Pinakamasakit kapag |
|---|---|---|
| RPM, request kada minuto | Mga request na sinimulan sa loob ng isang minuto | Marami kang maiikling call (classification, mga loop na parang embeddings) |
| RPS, request kada segundo | Pareho, pero sa loob ng isang segundo | Nagpapadala ka nang biglaan, kahit mababa ang average kada minuto |
| TPM, token kada minuto | Token na naproseso sa isang minuto, minsan hiwalay ang input (ITPM) at output (OTPM) | Mahahaba ang prompt o dokumento mo |
| RPD / TPD, kada araw | Request o token sa isang araw | Nagpapatakbo ka ng batch job sa free tier |
| Concurrency | Mga request na in flight sa iisang sandali | Mabagal ang mga request: reasoning, mahahabang output, agents |
Nakadepende sa hugis ng request mo kung alin ang tatama. Sa concurrency limit, nakadepende ang throughput sa haba ng request: halimbawa sa sariling docs ng DeepInfra, ang 200 concurrent na request na may 1 segundong average ay humigit-kumulang 12,000 RPM. Ang reasoning request na 30 segundo sa parehong concurrency ay maliit na bahagi lang niyon.
Karamihan ng provider ay nagpapatupad din ng limit sa mas maiikling window kaysa sa inilalathala nila. Sabi ng Anthropic, ang 60 RPM na limit ay “might be enforced as 1 request per second” (salin: maaaring ipatupad bilang 1 request kada segundo), at kinukuha ng xAI ang limit nito kada segundo mula sa budget kada minuto (“RPM / 48, with a minimum of 2”; salin: RPM / 48, na may minimum na 2).
Paano gumagana ang mga usage tier?
Itinataas ng malalaking provider ng closed model ang limit mo habang mas malaki ang ginagastos mo:
| Provider | Mga tier (sinuri noong 2026-11-15) | Paano umakyat |
|---|---|---|
| OpenAI | Free, Build, Launch, Grow | Free: dapat nasa pinapayagang lugar ang user; monthly usage limit na USD 100 (limit sa gastos, hindi credit). Pagkatapos, kabuuang biniling credit na USD 5, USD 100 at USD 500, na may monthly usage limit na USD 500, USD 5,000 at USD 200,000 |
| Anthropic | Evaluation, Start, Build, Scale, Custom | Awtomatiko, ayon sa usage history at katayuan ng account. Monthly spend cap: Start USD 500, Build USD 1,000, Scale USD 200,000 |
| Google Gemini API | Free, Tier 1, Tier 2, Tier 3 | Kailangan ng Tier 1 ng naka-link na billing account; Tier 2: USD 100 na nabayaran at 3 araw; Tier 3: USD 1,000 at 30 araw. Sabi ng Google, ang nakatakdang rate limit ay “not guaranteed” (salin: hindi garantisado), at “no guarantees” (salin: walang garantiya) sa mga hiling na pagtaas |
| Fireworks AI | Tier 1 hanggang Tier 4 | Payment method para sa Tier 1, pagkatapos USD 50, USD 500 at USD 5,000 na gastos o credit. TPM ang itinataas ng mga tier, hindi RPM |
| xAI | Tier 0 hanggang Tier 4, Enterprise | Kabuuang gastos mula Enero 1, 2026: USD 0, 50, 250, 1,000 at 5,000 |
Dalawang detalye ang mahalaga sa praktika. Nagbabalik ang spend cap ng Anthropic ng HTTP 429 na walang retry-after header kapag naabot mo ito, kaya patuloy na papalya ang mga awtomatikong retry hanggang mag-reset ang buwan o lumipat ka ng tier. At uncached na input lang ang binibilang ng input limit ng Anthropic: hindi kasama ang cache read, kaya tumataas ang tunay mong throughput kapag mataas ang cache rate.
Rate limit ng LLM API ayon sa provider: ang entry tier
Mga numero para sa free o unang paid tier ng bawat provider, mula sa sarili nitong rate-limits page. Ang gitling ay nangangahulugang walang inilalathalang numero ang page para sa limit na iyon; hindi ito nangangahulugang unlimited.
| Provider | Tier at model | RPM | TPM | Kada araw | Concurrency |
|---|---|---|---|---|---|
| OpenAI | Build; Astra, Sol, Terra | 5,000 | 1,000,000 | – | – |
| OpenAI | Build; Luna | 5,000 | 2,000,000 | – | – |
| Anthropic | Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 | 4,000 | 2,000,000 input (uncached), 400,000 output | – | – |
| Google Gemini API | Free; Gemini Decision 1 (ang tanging model na may libreng numero sa page) | 200 | 50,000 | 10,000 request | – |
| Google Gemini API | Tier 1; Gemini Decision 1 | 1,500 | 1,000,000 | 50,000 request | – |
| Groq | Table ng free plan; openai/gpt-oss-120b, qwen/qwen3.8-27b | 30 | 8,000 | 1,000 request, 200,000 token | – |
| Groq | Table ng Developer plan; openai/gpt-oss-120b, qwen/qwen3.8-27b | 1,000 | 250,000 | 500,000 request | – |
| Cerebras | Free Trial; gpt-oss-120b | 5 | 30,000 uncached (90,000 kabuuan) | 1,000,000 token | – |
| Cerebras | Developer (pay as you go); gpt-oss-120b | 1,000 | 500,000 uncached (1,500,000 kabuuan) | Walang cap | – |
| Fireworks AI | Walang payment method o credit; buong account | 10 | – | – | – |
| Fireworks AI | May payment method at credit; buong account | 6,000 | Ayon sa spending tier | – | – |
| DeepInfra | Default; kada pampublikong model | – | – | – | 200 |
| DeepSeek | Default; deepseek-flash (DeepSeek-V4.1-Flash-1017), kada account |
– | – | – | 2,500 |
| DeepSeek | Default; deepseek-v4-pro (DeepSeek-V4-Pro-0813), kada account |
– | – | – | 500 |
| xAI | Tier 0; grok-4.7 (150 RPS) | – | 50,000,000 | – | – |
| OpenRouter | Mga :free model, wala pang USD 10 na credit ang nabili | 20 | – | 50 request | – |
| OpenRouter | Mga :free model, USD 10 o higit pang credit ang nabili | 20 | – | 1,000 request | – |
| Cohere | Trial key; Command A | 20 | – | 1,000 call kada buwan | – |
| Cohere | Production key; Command A | 500 | – | – | – |
| BroadNet Inference | Pay-as-you-go key; kahit anong model | 30 | – | – | 4 |
| BroadNet Inference | Hourly key; Gemma 4 VL 26B | 120 | 300,000 | – | 1 stream |
| BroadNet Inference | Session ng flat plan; DeepSeek V4.1 Flash | – | Walang token meter | – | 1 request sa bawat pagkakataon |
Mga tala sa mga row:
- Groq. May dalawang tab ang page, “Free Plan Limits” (bukas bilang default) at “Developer Plan Limits”. Tinatawag ng pangungusap sa itaas ng mga ito ang mga numero na “the base limits for the Developer plan” (salin: ang base limit para sa Developer plan), na tugma lang sa ikalawang tab; parehong nasa table sa itaas. Nasa limits page ng Groq ang eksaktong limit ng organization mo.
- Google. Kada project ang limit, hindi kada API key. Sa loob lang ng AI Studio makikita ang numero ng karamihan ng model. Classification model para sa Decisions API ng Google ang Gemini Decision 1: probability ang ibinabalik nito, hindi text, kaya kaunti lang ang sinasabi ng limit nito tungkol sa mga chat model ng Gemini.
- Mistral at Together AI ay walang inilalathalang numero. Ipinapakita ng Mistral ang limit mo sa console nito sa halip na maglathala ng table, at wala itong libreng API access (“It doesn’t include API access”; salin: hindi nito kasama ang API access). Sabi ng Together, “may limit requests” (salin: maaaring limitahan ang mga request) ito kapag mataas ang demand, at puwede itong magtakda ng custom na limit sa mga sikat na model.
- OpenRouter. Ang mga bayad na variant ng model ay may “no platform-level request cap” (salin: walang request cap sa antas ng platform), pero may sariling limit pa rin ang mga provider sa likod ng bawat model.
- DeepSeek. Kapag busy, pinananatiling bukas ng DeepSeek ang connection gamit ang mga blangkong linya o
: keep-alivena comment, at isinasara ito kung hindi pa nagsisimula ang inference sa loob ng 10 minuto. I-set ang client timeout mo nang isinasaalang-alang ito.
Paano maihahambing nang tapat ang mga limit ng BroadNet?
Mababa ang mga ito para sa high-volume na trabaho. Ang pay-as-you-go key ng BroadNet ay may 30 request kada minuto at 4 in flight, samantalang libu-libong request kada minuto ang unang paid tier ng OpenAI at Anthropic, at 6,000 ang Fireworks kapag may card na sa file. Kung kailangan mong magpadaan ng libu-libong maiikling request kada minuto sa iisang key, mas bagay ang paid tier ng malaking provider.
Bagay ang mga limit sa ibang hugis ng trabaho:
- Agents at chat. Isang request lang ang ipinapadala ng isang agent at naghihintay ito. Kasya ang ilang agent kada key sa 4 in flight; naikakalat ang load kapag may sariling key ang bawat app o kasamahan.
- Mga flat plan. Walang token meter at walang daily o weekly cap ang session ng Full Moon, Orbit o Meteor, pero isang request sa bawat pagkakataon ito sa karaniwang bilis na mga 100 token bawat segundo. Para magpatakbo ng mga agent nang parallel, bumili ng session para sa bawat isa. Ilang session ang kailangan mo.
- Hourly key. Sa $0.50 kada oras, makakakuha ka ng isang Gemma 4 VL 26B stream na may 120 request at 300,000 token kada minuto.
Lahat ng limit ng BroadNet ay nagbabalik ng HTTP 429. Walang ibinibigay na retry-after timing ang API reference, kaya gumamit ng backoff na may hangganan at jitter.
Paano magplano sa paligid ng rate limit?
- Hanapin ang limit na tatama sa iyo. Kuwentahin ang request kada minuto, token kada minuto at request na in flight sa peak traffic mo. Ginagawa ito ng LLM rate limit calculator mula sa laki ng request at latency.
- Mag-throttle sa client. Naiiwasan ang karamihan ng 429 ng isang token bucket na tugma sa inilathalang limit. Parehong algorithm ang gamit ng Anthropic sa server side.
- Basahin ang mga header. Nagbabalik ang Anthropic ng mga
anthropic-ratelimit-*header; nagbabalik ang Groq ng mgax-ratelimit-*header, kung saan ang requests header nito ay “always refers to Requests Per Day” (salin: laging tumutukoy sa Requests Per Day). Gamitin angretry-afterkapag naroon ito. - Mag-retry nang may backoff at jitter, at limitahan ang bilang ng retry. May gumaganang code ang pag-handle ng 429 error, at saklaw ng errors at retries ang mga status code ng BroadNet.
- I-cache ang mga stable na prefix. Sa Anthropic, hindi binibilang ang cached input sa input limit. Saanman, binabawasan nito ang gastos.
- Ikalat ang malalaking job. May ramp limit din ang Anthropic: puwedeng magbalik ng 429 ang biglang pagtaas ng traffic kahit mababa ka pa sa limit. Simulan nang dahan-dahan ang mga batch job. Kung walang Batch API, pinananatili ng resumable na batch runner ang job sa loob ng mga limit nito.
- Humingi ng mas mataas. Inilalarawan ng DeepSeek, DeepInfra, Mistral at Anthropic ang paraan para humiling ng mas mataas na limit.
Saan bagay ang BroadNet Inference
Sariling website ng BroadNet ang BroadRouter, kaya timbangin ang seksyong ito nang naaayon. Hindi ang BroadNet Inference ang opsyon para sa napakataas na request rate sa iisang key: malayong mas mababa ang inilathala nitong limit kada key kaysa sa paid tier ng OpenAI, Anthropic, Fireworks o Cerebras. Bagay ito sa mga agent at chat workload na nagpapadala ng ilang request lang nang sabay, lalo na sa flat plan kung saan walang token meter o daily cap ang abalang agent. May $5 na panimulang credit ang mga bagong account para sa Gemma 4 VL 26B, sa dalawang transcription model at sa mga Gemma hourly key; kailangan ng top-up para sa DeepSeek, GLM at Qwen. Walang SLA ang self-serve. Basahin ang API limits o ihambing ang mga plan.
