रेट लिमिट तय करती है कि आप कितनी तेज़ी से ख़र्च कर सकते हैं। स्पेंड लिमिट तय करती है कि कितना।
यह कैसे काम करती है
प्रोवाइडर कई परतों में कैप लगाते हैं। दो दर्ज उदाहरण:
| प्रोवाइडर | कंट्रोल | पहुँचने पर क्या होता है |
|---|---|---|
| Anthropic | हर कैलेंडर महीने का टियर स्पेंड कैप (Start, Build, Scale; Custom पर कोई नहीं) | अगले महीने की पहली तारीख़ 00:00 UTC तक इस्तेमाल रुका रहता है; HTTP 429 rate_limit_error, जिसमें error.details.error_code enforced_spend_limit_reached होता है, retry-after नहीं |
| Anthropic | संगठन या workspace पर आपकी अपनी कम सीमा | HTTP 400 invalid_request_error, मैसेज “You have reached your specified API usage limits” से शुरू होता है |
| OpenAI | हर टियर की मासिक यूसेज लिमिट | गाइड में नहीं बताया गया |
| OpenAI | स्पेंड अलर्ट | सूचना भेजता है; ट्रैफ़िक चलता रहता है |
| OpenAI | संगठन या प्रोजेक्ट पर हार्ड स्पेंड लिमिट | प्रभावित अनुरोध 429 लौटाते हैं |
Anthropic के टियर कैप हर महीने USD 500 (Start), USD 1,000 (Build) और USD 200,000 (Scale) हैं। OpenAI की गाइड टियर के हिसाब से मासिक यूसेज लिमिट बताती है, Free पर USD 100 से Grow पर USD 200,000 तक, और कहती है कि कुल क्रेडिट ख़रीद तय सीमाएँ पार करने पर टियर बढ़ते हैं।
पेचीदा बात यह है कि स्पेंड-लिमिट वाला 429 रेट-लिमिट वाले 429 जैसा ही दिखता है। Anthropic के API पर एरर कोड दोनों को अलग करता है, और स्पेंड-कैप वाले रिस्पॉन्स में retry-after हेडर नहीं होता:
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
यह क्यों मायने रखती है
- अलर्ट देर से आते हैं. ईमेल आने से पहले ही तेज़ लूप बहुत ख़र्च कर सकता है। हार्ड कैप उसे रोक देता है।
- रीट्राई हालत बिगाड़ते हैं. जो क्लाइंट हर 429 पर बैकऑफ़ करके रीट्राई करता है, वह स्पेंड कैप पर बेकार में बार-बार चोट करेगा। दोनों को अलग पहचानें।
- शेयर्ड कैप. कई ऐप्स के बीच शेयर होने वाला अकाउंट-स्तर का कैप एक बेक़ाबू जॉब को बाक़ी सबको रोकने देता है। प्रति-प्रोजेक्ट बजट या आपके कोड में अपना बजट उन्हें अलग रखता है।
BroadNet Inference पर
BroadNet का API रेफ़रेंस पे-एज़-यू-गो key पर छह सीमाएँ बताता है। लागत और थ्रूपुट को बाँधने वाली तीन हैं: प्रति मिनट 30 अनुरोध, एक साथ 4 चालू अनुरोध, और ख़र्च, जिसकी परिभाषा है “the native budget shared by the account’s pay-as-you-go keys” (अनुवाद: अकाउंट की पे-एज़-यू-गो keys के बीच शेयर होने वाला नेटिव बजट); बाक़ी हैं अनुमत मॉडल, एक साल की key अवधि और हर अकाउंट पर अधिकतम दस चालू keys। अकाउंट प्रीपेड है, इसलिए बैलेंस बाहरी सीमा है। दो स्टेटस कोड मायने रखते हैं:
- 429: “A rate, concurrency, token-rate or spending limit was reached.” (अनुवाद: रेट, concurrency, टोकन-रेट या ख़र्च की कोई सीमा पूरी हो गई।)
- 401: key ग़ायब, अमान्य या एक्सपायर है, या ऐसा अकाउंट जिसका शेयर्ड pay-as-you-go बजट ब्लॉक है (डॉक्स के शब्द हैं “a blocked native PAYG budget holder” (अनुवाद: ब्लॉक किया गया नेटिव PAYG बजट होल्डर)), “including exhausted PAYG allowance” (अनुवाद: ख़त्म हो चुके PAYG अलाउंस समेत)।
BroadNet का प्राइवेसी पेज कहता है कि keys मॉडल, रेट और ख़र्च के हिसाब से scoped होती हैं, लेकिन API रेफ़रेंस में प्रति-key या प्रति-प्रोजेक्ट बजट की कोई सेटिंग नहीं है, इसलिए हर अनुरोध से पहले अपने कोड में चलता हुआ बजट-चेक रखें, जैसा LLM API ख़र्च नियंत्रण में है। तय अधिकतम ख़र्च के लिए फ़्लैट-रेट प्लान या $0.50 वाली घंटे की key डिज़ाइन से ही ख़र्च को सीमित रखती है। रीट्राई संभालना एरर और रीट्राई गाइड में है।