हर साझा API लिमिट से अपनी रक्षा करता है। कौन-सी लिमिट लागू है, यह जानने से पता चलता है कि आप कितनी तेज़ी से चल सकते हैं और लिमिट से टकराने पर क्या करना है।
यह कैसे काम करती है
LLM API एक साथ कई चीज़ें मापते हैं। उदाहरण के लिए OpenAI ये सूचीबद्ध करता है:
- RPM: प्रति मिनट अनुरोध
- RPD: प्रति दिन अनुरोध
- TPM: प्रति मिनट टोकन
- TPD: प्रति दिन टोकन
जिस लिमिट से आप पहले टकराते हैं, वही लागू होती है। कई प्रोवाइडर concurrency यानी एक साथ चल रहे अनुरोधों की संख्या पर भी सीमा लगाते हैं।
लिमिट पार होने पर सर्वर 429 Too Many Requests लौटाता है। MDN इसका मतलब बताता है कि क्लाइंट ने “sent too many requests in a given amount of time” (अनुवाद: तय समय में बहुत ज़्यादा अनुरोध भेजे)। Retry-After हेडर बता सकता है कि कितने सेकंड रुकना है।
एक सुरक्षित रीट्राई लूप:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
OpenAI के आधिकारिक SDK पहले से ही 429 और 5xx एरर को बैकऑफ़ के साथ रीट्राई करते हैं; अपना लूप लिखने के बजाय max_retries सेट करें।
यह क्यों मायने रखती है
- थ्रूपुट. आपकी असली छत सभी लिमिट में सबसे नीची वाली है। प्रति मिनट 30 अनुरोध वाली key पर, जैसी BroadNet की उपयोग के अनुसार भुगतान वाली key हैं, 1,000 अनुरोधों में कम से कम 1,000 ÷ 30 मिनट लगते हैं, मॉडल चाहे जितना तेज़ हो। रेट लिमिट कैलकुलेटर आपकी अपनी लिमिट के लिए हिसाब लगाता है।
- भरोसेमंदी. बिना सँभाले 429 आउटेज जैसे दिखते हैं। बैकऑफ़ उन्हें छोटी देरी में बदल देता है।
- लागत. कुछ प्रोवाइडर ख़र्च की सीमा पर भी 429 लौटाते हैं, जो उपयोग के अनुसार भुगतान वाली key पर आम है। रीट्राई से पहले एरर बॉडी पढ़ें।
BroadNet Inference पर
| key का प्रकार | लिमिट |
|---|---|
| उपयोग के अनुसार भुगतान | प्रति मिनट 30 अनुरोध, एक साथ 4 चालू अनुरोध |
| hourly key | प्रति मिनट 120 अनुरोध, एक स्ट्रीम, प्रति मिनट 300,000 टोकन |
| अनलिमिटेड प्लान | प्रति सेशन एक समय में एक अनुरोध, कोई टोकन मीटर नहीं |
रेट, concurrency, टोकन-रेट या ख़र्च की लिमिट पूरी होने पर BroadNet 429 लौटाता है। रुकें और रीट्राई करें। एरर और रीट्राई गाइड हर स्टेटस कोड कवर करती है, और “अनलिमिटेड” का असली मतलब बताता है कि फ़्लैट प्लान में भी कौन-सी लिमिट रहती हैं।
आम ग़लतियाँ
- 401 या 403 एरर को रीट्राई करना। ये key या पॉलिसी की समस्याएँ हैं, रेट लिमिट नहीं।
- एक ही key पर बिना साझा लिमिटर के कई वर्कर चलाना। हर वर्कर अकेले रुकता है, जबकि बाक़ी key को भरा रखते हैं।