BroadRouter

प्रोवाइडर के हिसाब से LLM API रेट लिमिट: RPM, TPM और कॉन्करेंसी

BroadNet Inference टीम · 8 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

LLM API रेट लिमिट सिर्फ़ आकार में नहीं, प्रकार में भी अलग होती हैं। OpenAI, Anthropic और Gemini उपयोग टियर के हिसाब से प्रति मिनट अनुरोध और टोकन सीमित करते हैं। DeepSeek और DeepInfra एक साथ चालू अनुरोध सीमित करते हैं। Groq और Cerebras के फ़्री टियर में दैनिक सीमा भी है। पहले पेड टियर पर OpenAI और Anthropic प्रति मिनट हज़ारों अनुरोध देते हैं; BroadNet की उपयोग के अनुसार भुगतान वाली key 30।

“LLM API rate limits” सर्च करें तो आपको ब्लॉग की ऐसी टेबल मिलती हैं जो आपस में मेल नहीं खातीं, अक्सर इसलिए कि वे पुरानी संख्याएँ कॉपी करती हैं। यह पेज हर आँकड़ा 15 नवंबर 2026 को प्रोवाइडर के अपने डॉक्यूमेंटेशन से लेता है, बताता है कि वह किस टियर और मॉडल पर लागू है, और जहाँ प्रोवाइडर कोई संख्या प्रकाशित नहीं करता, वहाँ खाना ख़ाली छोड़ता है। यही डेटा डाउनलोड किए जा सकने वाले डेटासेट के रूप में, मुफ़्त क्रेडिट और डेटा-उपयोग की शर्तों के साथ, LLM API के फ़्री टियर और रेट लिमिट में है। BroadRouter, BroadNet की अपनी साइट है, और BroadNet की सीमाएँ भी इस टेबल में हैं।

RPM, TPM, RPD और कॉन्करेंसी का मतलब क्या है?

रेट लिमिट तय करती है कि किसी समय-अवधि में आप कितना भेज सकते हैं। प्रोवाइडर अलग-अलग चीज़ें गिनते हैं:

सीमा क्या गिनती है सबसे ज़्यादा कब चुभती है
RPM, प्रति मिनट अनुरोध एक मिनट में शुरू हुए अनुरोध जब आप बहुत सारी छोटी कॉल भेजते हैं (क्लासिफ़िकेशन, embeddings जैसे लूप)
RPS, प्रति सेकंड अनुरोध वही, एक सेकंड में जब आप एक झटके में बहुत भेजते हैं, भले मिनट का औसत कम हो
TPM, प्रति मिनट टोकन एक मिनट में प्रोसेस हुए टोकन, कभी-कभी इनपुट (ITPM) और आउटपुट (OTPM) अलग-अलग जब आप लंबे प्रॉम्प्ट या लंबे डॉक्यूमेंट भेजते हैं
RPD / TPD, प्रति दिन एक दिन में अनुरोध या टोकन जब आप फ़्री टियर पर बैच जॉब चलाते हैं
कॉन्करेंसी एक ही पल में चालू अनुरोध जब अनुरोध धीमे हों: रीज़निंग, लंबे आउटपुट, एजेंट

कौन-सी सीमा आड़े आएगी, यह आपके अनुरोधों के स्वरूप पर निर्भर है। कॉन्करेंसी सीमा में थ्रूपुट अनुरोध की लंबाई पर टिका होता है: DeepInfra का अपना डॉक्यूमेंटेशन उदाहरण देता है कि 1 सेकंड के औसत पर 200 एक साथ चालू अनुरोध लगभग 12,000 RPM बनते हैं। उसी कॉन्करेंसी पर 30 सेकंड का रीज़निंग अनुरोध इसका एक छोटा हिस्सा ही देता है।

ज़्यादातर प्रोवाइडर प्रकाशित अवधि से छोटी अवधि पर भी सीमा लागू करते हैं। Anthropic कहता है कि 60 RPM की सीमा “might be enforced as 1 request per second” (अनुवाद: 1 अनुरोध प्रति सेकंड के रूप में लागू की जा सकती है), और xAI अपनी प्रति सेकंड सीमा प्रति मिनट बजट से निकालता है (“RPM / 48, with a minimum of 2”; अनुवाद: RPM / 48, कम से कम 2)।

उपयोग टियर कैसे काम करते हैं?

बड़े क्लोज़्ड-मॉडल प्रोवाइडर आपके ख़र्च के साथ आपकी सीमाएँ बढ़ाते हैं:

प्रोवाइडर टियर (2026-11-15 को देखा गया) ऊपर कैसे जाएँ
OpenAI Free, Build, Launch, Grow Free: यूज़र किसी अनुमत भौगोलिक क्षेत्र में हो; मासिक उपयोग सीमा USD 100 (ख़र्च की ऊपरी सीमा, क्रेडिट नहीं)। फिर कुल क्रेडिट ख़रीद USD 5, USD 100 और USD 500, मासिक उपयोग सीमा USD 500, USD 5,000 और USD 200,000 के साथ
Anthropic Evaluation, Start, Build, Scale, Custom अपने आप, उपयोग के इतिहास और अकाउंट की स्थिति के आधार पर। मासिक ख़र्च सीमा: Start USD 500, Build USD 1,000, Scale USD 200,000
Google Gemini API Free, Tier 1, Tier 2, Tier 3 Tier 1 के लिए जुड़ा हुआ बिलिंग अकाउंट चाहिए; Tier 2 के लिए USD 100 भुगतान और 3 दिन; Tier 3 के लिए USD 1,000 और 30 दिन। Google कहता है कि बताई गई रेट लिमिट “not guaranteed” (अनुवाद: गारंटीड नहीं) हैं, और सीमा बढ़ाने के अनुरोधों पर “no guarantees” (अनुवाद: कोई गारंटी नहीं) देता है
Fireworks AI Tier 1 से Tier 4 Tier 1 के लिए भुगतान का तरीक़ा, फिर USD 50, USD 500 और USD 5,000 का ख़र्च या क्रेडिट। टियर TPM बढ़ाते हैं, RPM नहीं
xAI Tier 0 से Tier 4, Enterprise 1 जनवरी 2026 से कुल ख़र्च: USD 0, 50, 250, 1,000 और 5,000

व्यवहार में दो बातें अहम हैं। Anthropic की ख़र्च सीमा पूरी होने पर HTTP 429 आता है, बिना retry-after हेडर के, इसलिए अपने आप होने वाले रीट्राई तब तक फ़ेल होते रहते हैं जब तक महीना रीसेट न हो या आप टियर न बदलें। और Anthropic की इनपुट सीमा सिर्फ़ बिना कैश वाला इनपुट गिनती है: कैश से पढ़ा गया इनपुट नहीं गिना जाता, इसलिए ऊँची कैश दर आपका असली थ्रूपुट बढ़ा देती है।

प्रोवाइडर के हिसाब से LLM API रेट लिमिट: एंट्री टियर

हर प्रोवाइडर के फ़्री या पहले पेड टियर के आँकड़े, उसके अपने रेट-लिमिट पेज से। डैश का मतलब है कि पेज उस सीमा की कोई संख्या प्रकाशित नहीं करता; इसका मतलब अनलिमिटेड नहीं है।

प्रोवाइडर टियर और मॉडल RPM TPM प्रति दिन कॉन्करेंसी
OpenAI Build; Astra, Sol, Terra 5,000 1,000,000 – –
OpenAI Build; Luna 5,000 2,000,000 – –
Anthropic Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 4,000 2,000,000 इनपुट (बिना कैश), 400,000 आउटपुट – –
Google Gemini API Free; Gemini Decision 1 (पेज पर फ़्री संख्याओं वाला इकलौता मॉडल) 200 50,000 10,000 अनुरोध –
Google Gemini API Tier 1; Gemini Decision 1 1,500 1,000,000 50,000 अनुरोध –
Groq फ़्री प्लान टेबल; openai/gpt-oss-120b, qwen/qwen3.8-27b 30 8,000 1,000 अनुरोध, 200,000 टोकन –
Groq Developer प्लान टेबल; openai/gpt-oss-120b, qwen/qwen3.8-27b 1,000 250,000 500,000 अनुरोध –
Cerebras Free Trial; gpt-oss-120b 5 30,000 बिना कैश (कुल 90,000) 1,000,000 टोकन –
Cerebras Developer (उपयोग के अनुसार भुगतान); gpt-oss-120b 1,000 500,000 बिना कैश (कुल 1,500,000) कोई सीमा नहीं –
Fireworks AI बिना भुगतान तरीक़े या क्रेडिट के; पूरे अकाउंट पर 10 – – –
Fireworks AI भुगतान तरीक़े और क्रेडिट के साथ; पूरे अकाउंट पर 6,000 ख़र्च टियर से तय – –
DeepInfra डिफ़ॉल्ट; हर पब्लिक मॉडल पर – – – 200
DeepSeek डिफ़ॉल्ट; deepseek-flash (DeepSeek-V4.1-Flash-1017), हर अकाउंट पर – – – 2,500
DeepSeek डिफ़ॉल्ट; deepseek-v4-pro (DeepSeek-V4-Pro-0813), हर अकाउंट पर – – – 500
xAI Tier 0; grok-4.7 (150 RPS) – 50,000,000 – –
OpenRouter :free मॉडल, USD 10 से कम के क्रेडिट ख़रीदे 20 – 50 अनुरोध –
OpenRouter :free मॉडल, USD 10 या ज़्यादा के क्रेडिट ख़रीदे 20 – 1,000 अनुरोध –
Cohere Trial key; Command A 20 – महीने में 1,000 कॉल –
Cohere Production key; Command A 500 – – –
BroadNet Inference उपयोग के अनुसार भुगतान वाली key; कोई भी मॉडल 30 – – 4
BroadNet Inference घंटे वाली key; Gemma 4 VL 26B 120 300,000 – 1 स्ट्रीम
BroadNet Inference फ़्लैट प्लान सेशन; DeepSeek V4.1 Flash – कोई टोकन मीटर नहीं – एक समय में 1 अनुरोध

पंक्तियों पर टिप्पणियाँ:

  • Groq. पेज पर दो टैब हैं, “Free Plan Limits” (जो डिफ़ॉल्ट रूप से खुला रहता है) और “Developer Plan Limits”। उनके ऊपर का वाक्य आँकड़ों को “the base limits for the Developer plan” (अनुवाद: Developer प्लान की बुनियादी सीमाएँ) कहता है, जो सिर्फ़ दूसरे टैब पर लागू होता है; ऊपर की टेबल में दोनों हैं। आपके ऑर्गनाइज़ेशन की सटीक सीमाएँ उसके limits पेज पर हैं।
  • Google. सीमाएँ हर प्रोजेक्ट पर लागू होती हैं, हर API key पर नहीं। ज़्यादातर मॉडल की संख्याएँ सिर्फ़ AI Studio के अंदर दिखती हैं। Gemini Decision 1, Google की Decisions API के लिए एक classification मॉडल है: यह टेक्स्ट नहीं, संभावनाएँ लौटाता है, इसलिए इसकी सीमाएँ Gemini के चैट मॉडल के बारे में ज़्यादा नहीं बतातीं।
  • Mistral और Together AI कोई संख्या प्रकाशित नहीं करते। Mistral टेबल प्रकाशित करने के बजाय आपकी सीमाएँ अपने कंसोल में दिखाता है, और कोई मुफ़्त API एक्सेस नहीं देता (“It doesn’t include API access”; अनुवाद: इसमें API एक्सेस शामिल नहीं है)। Together कहता है कि माँग ज़्यादा होने पर वह “may limit requests” (अनुवाद: अनुरोध सीमित कर सकता है), और लोकप्रिय मॉडल पर अलग से सीमाएँ तय कर सकता है।
  • OpenRouter. पेड मॉडल वेरिएंट पर “no platform-level request cap” (अनुवाद: प्लेटफ़ॉर्म के स्तर पर अनुरोधों की कोई सीमा नहीं) है, लेकिन हर मॉडल के पीछे के प्रोवाइडर की अपनी सीमाएँ फिर भी रहती हैं।
  • DeepSeek. व्यस्त होने पर DeepSeek ख़ाली लाइनों या : keep-alive कमेंट के साथ कनेक्शन खुला रखता है, और अगर 10 मिनट में इन्फ़रेंस शुरू न हो तो उसे बंद कर देता है। अपने क्लाइंट का टाइमआउट यह ध्यान में रखकर सेट करें।

ईमानदारी से कहें तो BroadNet की सीमाएँ कहाँ खड़ी हैं?

बड़े वॉल्यूम वाले काम के लिए ये कम हैं। BroadNet की उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध देती है, जबकि OpenAI और Anthropic के पहले पेड टियर प्रति मिनट हज़ारों अनुरोध देते हैं और Fireworks कार्ड जोड़ते ही 6,000 देता है। अगर आपको एक key से प्रति मिनट हज़ारों छोटे अनुरोध भेजने हैं, तो किसी बड़े प्रोवाइडर का पेड टियर बेहतर बैठता है।

दूसरे तरह के काम में ये सीमाएँ ठीक बैठती हैं:

  • एजेंट और चैट। एक एजेंट एक समय में एक अनुरोध भेजता है और जवाब का इंतज़ार करता है। 4 चालू अनुरोध एक key पर कुछ एजेंट सँभाल लेते हैं; हर ऐप या टीम के साथी के लिए अलग key से लोड बँट जाता है।
  • फ़्लैट प्लान। Full Moon, Orbit या Meteor सेशन में न टोकन मीटर है, न दैनिक या साप्ताहिक सीमा, लेकिन वह एक समय में एक अनुरोध चलाता है, आम तौर पर लगभग 100 टोकन प्रति सेकंड की रफ़्तार से। एजेंट समानांतर चलाने हैं तो हर एक के लिए सेशन ख़रीदें। आपको कितने सेशन चाहिए।
  • घंटे वाली key। $0.50 प्रति घंटा में Gemma 4 VL 26B की एक स्ट्रीम मिलती है, प्रति मिनट 120 अनुरोध और 300,000 टोकन के साथ।

BroadNet की सभी सीमाएँ HTTP 429 लौटाती हैं। API रेफ़रंस retry-after का कोई समय नहीं बताता, इसलिए जिटर के साथ सीमित बैकऑफ़ इस्तेमाल करें।

रेट लिमिट के हिसाब से योजना कैसे बनाएँ?

  1. पता करें कि कौन-सी सीमा आपको बाँधती है। अपने सबसे ज़्यादा ट्रैफ़िक के लिए प्रति मिनट अनुरोध, प्रति मिनट टोकन और चालू अनुरोध निकालें। LLM रेट लिमिट कैलकुलेटर यह अनुरोध के आकार और लेटेंसी से निकाल देता है।
  2. क्लाइंट पर थ्रॉटल करें। प्रकाशित सीमा से मेल खाता token bucket ज़्यादातर 429 से बचा लेता है। Anthropic सर्वर की तरफ़ यही एल्गोरिद्म इस्तेमाल करता है।
  3. हेडर पढ़ें। Anthropic anthropic-ratelimit-* हेडर लौटाता है; Groq x-ratelimit-* हेडर लौटाता है, जिनमें अनुरोधों वाला हेडर “always refers to Requests Per Day” (अनुवाद: हमेशा प्रति दिन अनुरोधों के बारे में होता है)। retry-after मौजूद हो तो उसे इस्तेमाल करें।
  4. बैकऑफ़ और जिटर के साथ रीट्राई करें, और रीट्राई की संख्या सीमित रखें। 429 एरर सँभालना में चलने वाला कोड है, और एरर और रीट्राई BroadNet के स्टेटस कोड समझाता है।
  5. स्थिर प्रीफ़िक्स कैश करें। Anthropic पर कैश्ड इनपुट इनपुट सीमा में नहीं गिना जाता। हर जगह यह लागत घटाता है।
  6. बड़े जॉब फैलाकर चलाएँ। Anthropic रैंप लिमिट भी लगाता है: ट्रैफ़िक में अचानक उछाल आपकी सीमा से नीचे भी 429 ला सकता है। बैच जॉब धीरे-धीरे शुरू करें। Batch API न हो तो फिर से शुरू हो सकने वाला बैच रनर जॉब को उसकी सीमाओं के अंदर रखता है।
  7. ज़्यादा माँगें। DeepSeek, DeepInfra, Mistral और Anthropic, चारों ऊँची सीमाओं के लिए अनुरोध करने का तरीक़ा बताते हैं।

BroadNet Inference कहाँ फ़िट होता है

BroadRouter, BroadNet की अपनी वेबसाइट है, इसलिए इस हिस्से को उसी हिसाब से तौलें। एक key पर बहुत ऊँची अनुरोध दर के लिए BroadNet Inference सही विकल्प नहीं है: इसकी प्रकाशित प्रति-key सीमाएँ OpenAI, Anthropic, Fireworks या Cerebras के पेड टियर से काफ़ी नीचे हैं। यह उन एजेंट और चैट वर्कलोड के लिए ठीक है जो एक समय में कुछ ही अनुरोध भेजते हैं, ख़ासकर फ़्लैट प्लान पर, जहाँ व्यस्त एजेंट के लिए न टोकन मीटर है, न दैनिक सीमा। नए अकाउंट को Gemma 4 VL 26B, दोनों ट्रांसक्रिप्शन मॉडल और Gemma की घंटे वाली key के लिए $5 का शुरुआती क्रेडिट मिलता है; DeepSeek, GLM और Qwen के लिए टॉप-अप ज़रूरी है। सेल्फ़-सर्व पर कोई SLA नहीं है। API की सीमाएँ पढ़ें या प्लान की तुलना करें।

अक्सर पूछे जाने वाले सवाल

पहले पेड टियर पर OpenAI API की रेट लिमिट कितनी है?

OpenAI की रेट-लिमिट गाइड (15 नवंबर 2026 को देखी गई) के अनुसार Build टियर कुल USD 5 की क्रेडिट ख़रीद पर मिलता है, और उसकी मासिक उपयोग सीमा USD 500 है। Build पर Astra, Sol और Terra के लिए 5,000 RPM और 1,000,000 TPM, और Luna के लिए 5,000 RPM और 2,000,000 TPM हैं। सीमाएँ हर ऑर्गनाइज़ेशन और हर प्रोजेक्ट पर लागू होती हैं।

Anthropic API की रेट लिमिट क्या है?

Start टियर पर Claude Sonnet 5.5, Opus 5.5 और Haiku 5.5 में से हर एक 4,000 RPM, प्रति मिनट 2,000,000 इनपुट टोकन और प्रति मिनट 400,000 आउटपुट टोकन देता है (15 नवंबर 2026 को देखा गया)। इनपुट सीमा में सिर्फ़ बिना कैश वाला इनपुट गिना जाता है। नए ऑर्गनाइज़ेशन नीचे के Evaluation टियर से शुरू कर सकते हैं।

Groq की फ़्री रेट लिमिट कितनी है?

Groq की प्रकाशित टेबल (15 नवंबर 2026 को देखी गई) openai/gpt-oss-120b और qwen/qwen3.8-27b के लिए प्रति मिनट 30 अनुरोध, दिन में 1,000 अनुरोध, प्रति मिनट 8,000 टोकन और दिन में 200,000 टोकन दिखाती है। Groq कहता है कि आपके ऑर्गनाइज़ेशन की सटीक सीमाएँ उसके limits पेज पर हैं। इन्हीं मॉडल के लिए Developer प्लान टेबल प्रति मिनट 1,000 अनुरोध, दिन में 500,000 अनुरोध और प्रति मिनट 250,000 टोकन दिखाती है।

क्या DeepSeek API में रेट लिमिट है?

हाँ, कॉन्करेंसी के रूप में। DeepSeek हर अकाउंट को deepseek-flash पर 2,500 और deepseek-v4-pro पर 500 एक साथ चालू अनुरोध देता है, और उससे ऊपर HTTP 429 लौटाता है। माँगने पर बिना अतिरिक्त लागत के ऊँची सीमाएँ मिल सकती हैं (15 नवंबर 2026 को देखा गया)।

RPM, TPM और कॉन्करेंसी में क्या फ़र्क़ है?

RPM एक मिनट में शुरू हुए अनुरोध गिनता है। TPM एक मिनट में प्रोसेस हुए टोकन गिनता है, कभी-कभी इनपुट और आउटपुट अलग-अलग। कॉन्करेंसी एक ही पल में चालू अनुरोध गिनती है, इसलिए लंबे अनुरोध कम RPM पर भी इसे भर देते हैं।

BroadNet Inference की रेट लिमिट क्या है?

उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध देती है। घंटे वाली key Gemma 4 VL 26B पर प्रति मिनट 120 अनुरोध, प्रति मिनट 300,000 टोकन और 1 स्ट्रीम देती है। फ़्लैट प्लान का सेशन एक समय में एक अनुरोध चलाता है। सीमा पार होने पर सभी HTTP 429 लौटाते हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें

स्रोत