BroadRouter

रेट लिमिट (rate limit)

अपडेट किया गया

रेट लिमिट वह सीमा है जो कोई API तय करता है कि एक क्लाइंट किसी समय-अवधि में उसका कितना इस्तेमाल कर सकता है, जैसे प्रति मिनट अनुरोध या प्रति मिनट टोकन। सीमा से ऊपर के अनुरोध ठुकरा दिए जाते हैं, आम तौर पर HTTP 429 Too Many Requests के साथ, जब तक इस्तेमाल फिर सीमा के नीचे न आ जाए।

अन्य नाम: रेट लिमिट, अनुरोध सीमा, 429 एरर, rate limit kya hai, 429 error kya hai, rate limit, RPM, TPM, requests per minute, tokens per minute, HTTP 429, throttling

हर साझा API लिमिट से अपनी रक्षा करता है। कौन-सी लिमिट लागू है, यह जानने से पता चलता है कि आप कितनी तेज़ी से चल सकते हैं और लिमिट से टकराने पर क्या करना है।

यह कैसे काम करती है

LLM API एक साथ कई चीज़ें मापते हैं। उदाहरण के लिए OpenAI ये सूचीबद्ध करता है:

  • RPM: प्रति मिनट अनुरोध
  • RPD: प्रति दिन अनुरोध
  • TPM: प्रति मिनट टोकन
  • TPD: प्रति दिन टोकन

जिस लिमिट से आप पहले टकराते हैं, वही लागू होती है। कई प्रोवाइडर concurrency यानी एक साथ चल रहे अनुरोधों की संख्या पर भी सीमा लगाते हैं।

लिमिट पार होने पर सर्वर 429 Too Many Requests लौटाता है। MDN इसका मतलब बताता है कि क्लाइंट ने “sent too many requests in a given amount of time” (अनुवाद: तय समय में बहुत ज़्यादा अनुरोध भेजे)। Retry-After हेडर बता सकता है कि कितने सेकंड रुकना है।

एक सुरक्षित रीट्राई लूप:

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

OpenAI के आधिकारिक SDK पहले से ही 429 और 5xx एरर को बैकऑफ़ के साथ रीट्राई करते हैं; अपना लूप लिखने के बजाय max_retries सेट करें।

यह क्यों मायने रखती है

  • थ्रूपुट. आपकी असली छत सभी लिमिट में सबसे नीची वाली है। प्रति मिनट 30 अनुरोध वाली key पर, जैसी BroadNet की उपयोग के अनुसार भुगतान वाली key हैं, 1,000 अनुरोधों में कम से कम 1,000 ÷ 30 मिनट लगते हैं, मॉडल चाहे जितना तेज़ हो। रेट लिमिट कैलकुलेटर आपकी अपनी लिमिट के लिए हिसाब लगाता है।
  • भरोसेमंदी. बिना सँभाले 429 आउटेज जैसे दिखते हैं। बैकऑफ़ उन्हें छोटी देरी में बदल देता है।
  • लागत. कुछ प्रोवाइडर ख़र्च की सीमा पर भी 429 लौटाते हैं, जो उपयोग के अनुसार भुगतान वाली key पर आम है। रीट्राई से पहले एरर बॉडी पढ़ें।

BroadNet Inference पर

key का प्रकार लिमिट
उपयोग के अनुसार भुगतान प्रति मिनट 30 अनुरोध, एक साथ 4 चालू अनुरोध
hourly key प्रति मिनट 120 अनुरोध, एक स्ट्रीम, प्रति मिनट 300,000 टोकन
अनलिमिटेड प्लान प्रति सेशन एक समय में एक अनुरोध, कोई टोकन मीटर नहीं

रेट, concurrency, टोकन-रेट या ख़र्च की लिमिट पूरी होने पर BroadNet 429 लौटाता है। रुकें और रीट्राई करें। एरर और रीट्राई गाइड हर स्टेटस कोड कवर करती है, और “अनलिमिटेड” का असली मतलब बताता है कि फ़्लैट प्लान में भी कौन-सी लिमिट रहती हैं।

आम ग़लतियाँ

  • 401 या 403 एरर को रीट्राई करना। ये key या पॉलिसी की समस्याएँ हैं, रेट लिमिट नहीं।
  • एक ही key पर बिना साझा लिमिटर के कई वर्कर चलाना। हर वर्कर अकेले रुकता है, जबकि बाक़ी key को भरा रखते हैं।

अक्सर पूछे जाने वाले सवाल

क्या 429 को रीट्राई करना चाहिए?

हाँ, कुछ इंतज़ार के बाद। Retry-After हेडर हो तो उसका पालन करें; नहीं तो रैंडम jitter के साथ exponential backoff इस्तेमाल करें, और कोशिशों की संख्या सीमित रखें। उसी स्टेटस कोड वाले ख़र्च-सीमा या बिलिंग एरर को रीट्राई न करें।

क्या फ़ेल हुए अनुरोध भी लिमिट में गिने जाते हैं?

अक्सर, हाँ। OpenAI की गाइड कहती है कि फ़ेल हुए अनुरोध भी प्रति मिनट लिमिट में गिने जाते हैं, इसलिए लूप में तुरंत रीट्राई करने से हालत और बिगड़ती है।

रेट लिमिट और concurrency लिमिट में क्या फ़र्क़ है?

रेट लिमिट समय के साथ अनुरोध या टोकन गिनती है। concurrency लिमिट एक ही पल में चल रहे अनुरोध गिनती है। कोई key इनमें से किसी से भी पहले टकरा सकती है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें