BroadRouter

Rate limit ng LLM API ayon sa provider: RPM, TPM at concurrency

Ng BroadNet Inference team · 8 minutong basa · Nailathala · Na-update

Magkakaiba ang uri ng rate limit ng mga LLM API, hindi lang ang laki. Nililimitahan ng OpenAI, Anthropic at Gemini ang request at token kada minuto ayon sa usage tier. Concurrent na request ang nililimitahan ng DeepSeek at DeepInfra. May daily cap pa ang free tier ng Groq at Cerebras. Sa unang paid tier, libu-libong request kada minuto ang OpenAI at Anthropic; 30 ang pay-as-you-go key ng BroadNet.

Kapag hinanap mo ang “LLM API rate limits”, makakakita ka ng mga table sa blog na hindi nagtutugma, kadalasan dahil kinopya nila ang lumang numero. Binasa ng page na ito ang bawat numero mula sa sariling documentation ng provider noong Nobyembre 15, 2026, sinasabi kung aling tier at model ang sakop nito, at iniiwang blangko ang cell kapag walang inilalathala ang provider. Para sa parehong data bilang dataset na puwedeng i-download, kasama ang libreng credit at mga tuntunin sa paggamit ng data, tingnan ang free tier at rate limit ng mga LLM API. Sariling site ng BroadNet ang BroadRouter, at nasa table din ang mga limit ng BroadNet.

Ano ang ibig sabihin ng RPM, TPM, RPD at concurrency?

Nililimitahan ng rate limit kung gaano karami ang puwede mong ipadala sa isang time window. Magkakaiba ang binibilang ng mga provider:

Limit Ano ang binibilang Pinakamasakit kapag
RPM, request kada minuto Mga request na sinimulan sa loob ng isang minuto Marami kang maiikling call (classification, mga loop na parang embeddings)
RPS, request kada segundo Pareho, pero sa loob ng isang segundo Nagpapadala ka nang biglaan, kahit mababa ang average kada minuto
TPM, token kada minuto Token na naproseso sa isang minuto, minsan hiwalay ang input (ITPM) at output (OTPM) Mahahaba ang prompt o dokumento mo
RPD / TPD, kada araw Request o token sa isang araw Nagpapatakbo ka ng batch job sa free tier
Concurrency Mga request na in flight sa iisang sandali Mabagal ang mga request: reasoning, mahahabang output, agents

Nakadepende sa hugis ng request mo kung alin ang tatama. Sa concurrency limit, nakadepende ang throughput sa haba ng request: halimbawa sa sariling docs ng DeepInfra, ang 200 concurrent na request na may 1 segundong average ay humigit-kumulang 12,000 RPM. Ang reasoning request na 30 segundo sa parehong concurrency ay maliit na bahagi lang niyon.

Karamihan ng provider ay nagpapatupad din ng limit sa mas maiikling window kaysa sa inilalathala nila. Sabi ng Anthropic, ang 60 RPM na limit ay “might be enforced as 1 request per second” (salin: maaaring ipatupad bilang 1 request kada segundo), at kinukuha ng xAI ang limit nito kada segundo mula sa budget kada minuto (“RPM / 48, with a minimum of 2”; salin: RPM / 48, na may minimum na 2).

Paano gumagana ang mga usage tier?

Itinataas ng malalaking provider ng closed model ang limit mo habang mas malaki ang ginagastos mo:

Provider Mga tier (sinuri noong 2026-11-15) Paano umakyat
OpenAI Free, Build, Launch, Grow Free: dapat nasa pinapayagang lugar ang user; monthly usage limit na USD 100 (limit sa gastos, hindi credit). Pagkatapos, kabuuang biniling credit na USD 5, USD 100 at USD 500, na may monthly usage limit na USD 500, USD 5,000 at USD 200,000
Anthropic Evaluation, Start, Build, Scale, Custom Awtomatiko, ayon sa usage history at katayuan ng account. Monthly spend cap: Start USD 500, Build USD 1,000, Scale USD 200,000
Google Gemini API Free, Tier 1, Tier 2, Tier 3 Kailangan ng Tier 1 ng naka-link na billing account; Tier 2: USD 100 na nabayaran at 3 araw; Tier 3: USD 1,000 at 30 araw. Sabi ng Google, ang nakatakdang rate limit ay “not guaranteed” (salin: hindi garantisado), at “no guarantees” (salin: walang garantiya) sa mga hiling na pagtaas
Fireworks AI Tier 1 hanggang Tier 4 Payment method para sa Tier 1, pagkatapos USD 50, USD 500 at USD 5,000 na gastos o credit. TPM ang itinataas ng mga tier, hindi RPM
xAI Tier 0 hanggang Tier 4, Enterprise Kabuuang gastos mula Enero 1, 2026: USD 0, 50, 250, 1,000 at 5,000

Dalawang detalye ang mahalaga sa praktika. Nagbabalik ang spend cap ng Anthropic ng HTTP 429 na walang retry-after header kapag naabot mo ito, kaya patuloy na papalya ang mga awtomatikong retry hanggang mag-reset ang buwan o lumipat ka ng tier. At uncached na input lang ang binibilang ng input limit ng Anthropic: hindi kasama ang cache read, kaya tumataas ang tunay mong throughput kapag mataas ang cache rate.

Rate limit ng LLM API ayon sa provider: ang entry tier

Mga numero para sa free o unang paid tier ng bawat provider, mula sa sarili nitong rate-limits page. Ang gitling ay nangangahulugang walang inilalathalang numero ang page para sa limit na iyon; hindi ito nangangahulugang unlimited.

Provider Tier at model RPM TPM Kada araw Concurrency
OpenAI Build; Astra, Sol, Terra 5,000 1,000,000 – –
OpenAI Build; Luna 5,000 2,000,000 – –
Anthropic Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 4,000 2,000,000 input (uncached), 400,000 output – –
Google Gemini API Free; Gemini Decision 1 (ang tanging model na may libreng numero sa page) 200 50,000 10,000 request –
Google Gemini API Tier 1; Gemini Decision 1 1,500 1,000,000 50,000 request –
Groq Table ng free plan; openai/gpt-oss-120b, qwen/qwen3.8-27b 30 8,000 1,000 request, 200,000 token –
Groq Table ng Developer plan; openai/gpt-oss-120b, qwen/qwen3.8-27b 1,000 250,000 500,000 request –
Cerebras Free Trial; gpt-oss-120b 5 30,000 uncached (90,000 kabuuan) 1,000,000 token –
Cerebras Developer (pay as you go); gpt-oss-120b 1,000 500,000 uncached (1,500,000 kabuuan) Walang cap –
Fireworks AI Walang payment method o credit; buong account 10 – – –
Fireworks AI May payment method at credit; buong account 6,000 Ayon sa spending tier – –
DeepInfra Default; kada pampublikong model – – – 200
DeepSeek Default; deepseek-flash (DeepSeek-V4.1-Flash-1017), kada account – – – 2,500
DeepSeek Default; deepseek-v4-pro (DeepSeek-V4-Pro-0813), kada account – – – 500
xAI Tier 0; grok-4.7 (150 RPS) – 50,000,000 – –
OpenRouter Mga :free model, wala pang USD 10 na credit ang nabili 20 – 50 request –
OpenRouter Mga :free model, USD 10 o higit pang credit ang nabili 20 – 1,000 request –
Cohere Trial key; Command A 20 – 1,000 call kada buwan –
Cohere Production key; Command A 500 – – –
BroadNet Inference Pay-as-you-go key; kahit anong model 30 – – 4
BroadNet Inference Hourly key; Gemma 4 VL 26B 120 300,000 – 1 stream
BroadNet Inference Session ng flat plan; DeepSeek V4.1 Flash – Walang token meter – 1 request sa bawat pagkakataon

Mga tala sa mga row:

  • Groq. May dalawang tab ang page, “Free Plan Limits” (bukas bilang default) at “Developer Plan Limits”. Tinatawag ng pangungusap sa itaas ng mga ito ang mga numero na “the base limits for the Developer plan” (salin: ang base limit para sa Developer plan), na tugma lang sa ikalawang tab; parehong nasa table sa itaas. Nasa limits page ng Groq ang eksaktong limit ng organization mo.
  • Google. Kada project ang limit, hindi kada API key. Sa loob lang ng AI Studio makikita ang numero ng karamihan ng model. Classification model para sa Decisions API ng Google ang Gemini Decision 1: probability ang ibinabalik nito, hindi text, kaya kaunti lang ang sinasabi ng limit nito tungkol sa mga chat model ng Gemini.
  • Mistral at Together AI ay walang inilalathalang numero. Ipinapakita ng Mistral ang limit mo sa console nito sa halip na maglathala ng table, at wala itong libreng API access (“It doesn’t include API access”; salin: hindi nito kasama ang API access). Sabi ng Together, “may limit requests” (salin: maaaring limitahan ang mga request) ito kapag mataas ang demand, at puwede itong magtakda ng custom na limit sa mga sikat na model.
  • OpenRouter. Ang mga bayad na variant ng model ay may “no platform-level request cap” (salin: walang request cap sa antas ng platform), pero may sariling limit pa rin ang mga provider sa likod ng bawat model.
  • DeepSeek. Kapag busy, pinananatiling bukas ng DeepSeek ang connection gamit ang mga blangkong linya o : keep-alive na comment, at isinasara ito kung hindi pa nagsisimula ang inference sa loob ng 10 minuto. I-set ang client timeout mo nang isinasaalang-alang ito.

Paano maihahambing nang tapat ang mga limit ng BroadNet?

Mababa ang mga ito para sa high-volume na trabaho. Ang pay-as-you-go key ng BroadNet ay may 30 request kada minuto at 4 in flight, samantalang libu-libong request kada minuto ang unang paid tier ng OpenAI at Anthropic, at 6,000 ang Fireworks kapag may card na sa file. Kung kailangan mong magpadaan ng libu-libong maiikling request kada minuto sa iisang key, mas bagay ang paid tier ng malaking provider.

Bagay ang mga limit sa ibang hugis ng trabaho:

  • Agents at chat. Isang request lang ang ipinapadala ng isang agent at naghihintay ito. Kasya ang ilang agent kada key sa 4 in flight; naikakalat ang load kapag may sariling key ang bawat app o kasamahan.
  • Mga flat plan. Walang token meter at walang daily o weekly cap ang session ng Full Moon, Orbit o Meteor, pero isang request sa bawat pagkakataon ito sa karaniwang bilis na mga 100 token bawat segundo. Para magpatakbo ng mga agent nang parallel, bumili ng session para sa bawat isa. Ilang session ang kailangan mo.
  • Hourly key. Sa $0.50 kada oras, makakakuha ka ng isang Gemma 4 VL 26B stream na may 120 request at 300,000 token kada minuto.

Lahat ng limit ng BroadNet ay nagbabalik ng HTTP 429. Walang ibinibigay na retry-after timing ang API reference, kaya gumamit ng backoff na may hangganan at jitter.

Paano magplano sa paligid ng rate limit?

  1. Hanapin ang limit na tatama sa iyo. Kuwentahin ang request kada minuto, token kada minuto at request na in flight sa peak traffic mo. Ginagawa ito ng LLM rate limit calculator mula sa laki ng request at latency.
  2. Mag-throttle sa client. Naiiwasan ang karamihan ng 429 ng isang token bucket na tugma sa inilathalang limit. Parehong algorithm ang gamit ng Anthropic sa server side.
  3. Basahin ang mga header. Nagbabalik ang Anthropic ng mga anthropic-ratelimit-* header; nagbabalik ang Groq ng mga x-ratelimit-* header, kung saan ang requests header nito ay “always refers to Requests Per Day” (salin: laging tumutukoy sa Requests Per Day). Gamitin ang retry-after kapag naroon ito.
  4. Mag-retry nang may backoff at jitter, at limitahan ang bilang ng retry. May gumaganang code ang pag-handle ng 429 error, at saklaw ng errors at retries ang mga status code ng BroadNet.
  5. I-cache ang mga stable na prefix. Sa Anthropic, hindi binibilang ang cached input sa input limit. Saanman, binabawasan nito ang gastos.
  6. Ikalat ang malalaking job. May ramp limit din ang Anthropic: puwedeng magbalik ng 429 ang biglang pagtaas ng traffic kahit mababa ka pa sa limit. Simulan nang dahan-dahan ang mga batch job. Kung walang Batch API, pinananatili ng resumable na batch runner ang job sa loob ng mga limit nito.
  7. Humingi ng mas mataas. Inilalarawan ng DeepSeek, DeepInfra, Mistral at Anthropic ang paraan para humiling ng mas mataas na limit.

Saan bagay ang BroadNet Inference

Sariling website ng BroadNet ang BroadRouter, kaya timbangin ang seksyong ito nang naaayon. Hindi ang BroadNet Inference ang opsyon para sa napakataas na request rate sa iisang key: malayong mas mababa ang inilathala nitong limit kada key kaysa sa paid tier ng OpenAI, Anthropic, Fireworks o Cerebras. Bagay ito sa mga agent at chat workload na nagpapadala ng ilang request lang nang sabay, lalo na sa flat plan kung saan walang token meter o daily cap ang abalang agent. May $5 na panimulang credit ang mga bagong account para sa Gemma 4 VL 26B, sa dalawang transcription model at sa mga Gemma hourly key; kailangan ng top-up para sa DeepSeek, GLM at Qwen. Walang SLA ang self-serve. Basahin ang API limits o ihambing ang mga plan.

Mga tanong

Ano ang rate limit ng OpenAI API sa unang paid tier?

Ayon sa rate-limits guide ng OpenAI (sinuri noong Nobyembre 15, 2026), ang Build tier ay para sa USD 5 na kabuuang biniling credit, na may USD 500 na monthly usage limit. Sa Build, 5,000 RPM at 1,000,000 TPM ang Astra, Sol at Terra, at 5,000 RPM at 2,000,000 TPM ang Luna. Kada organization at kada project ang limit.

Magkano ang rate limit ng Anthropic API?

Sa Start tier, tig-4,000 RPM, 2,000,000 input token kada minuto at 400,000 output token kada minuto ang Claude Sonnet 5.5, Opus 5.5 at Haiku 5.5 (sinuri noong Nobyembre 15, 2026). Uncached na input lang ang binibilang sa input limit. Puwedeng magsimula ang mga bagong organization sa mas mababang Evaluation tier.

Ano ang libreng rate limit ng Groq?

Ipinapakita ng inilathalang table ng Groq (sinuri noong Nobyembre 15, 2026) ang 30 request kada minuto, 1,000 request kada araw, 8,000 token kada minuto at 200,000 token kada araw para sa openai/gpt-oss-120b at qwen/qwen3.8-27b. Sabi ng Groq, nasa limits page nito ang eksaktong limit ng organization mo. Ipinapakita naman ng table ng Developer plan ang 1,000 request kada minuto, 500,000 request kada araw at 250,000 token kada minuto para sa parehong mga model.

May rate limit ba ang DeepSeek API?

Oo, bilang concurrency. Pinapayagan ng DeepSeek ang 2,500 concurrent na request kada account sa deepseek-flash at 500 sa deepseek-v4-pro, at nagbabalik ito ng HTTP 429 kapag lumampas. Puwedeng humingi ng mas mataas na limit nang walang dagdag na bayad (sinuri noong Nobyembre 15, 2026).

Ano ang pagkakaiba ng RPM, TPM at concurrency?

Binibilang ng RPM ang mga request na sinimulan kada minuto. Binibilang ng TPM ang token na naproseso kada minuto, minsan hiwalay ang input at output. Binibilang ng concurrency ang mga request na in flight sa iisang sandali, kaya nauubos ito ng mahahabang request kahit mababa ang RPM.

Ano ang rate limit ng BroadNet Inference?

Ang pay-as-you-go key ay may 30 request kada minuto at 4 in flight. Ang hourly key ay may 120 request kada minuto, 300,000 token kada minuto at 1 stream sa Gemma 4 VL 26B. Isang request sa bawat pagkakataon ang session ng flat plan. Lahat ay nagbabalik ng HTTP 429 kapag lumampas.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity