“LLM API SLA” सर्च करें तो ऐसी टेबल मिलती हैं जो आपस में मेल नहीं खातीं। यह पोस्ट टेबल छोड़कर सीधे स्रोत पढ़ती है: हर प्रोवाइडर का अपना SLA या शर्तों का पेज, 15 नवंबर 2026 को लिया गया। हर एक के लिए हम अपटाइम टारगेट, डाउनटाइम किसे माना जाता है, सर्विस क्रेडिट, कोई लेटेंसी टारगेट और कौन-सा टियर कवर है, यह दर्ज करते हैं। BroadRouter, BroadNet की वेबसाइट है, इसलिए BroadNet भी सूची में है, और यह उन प्रोवाइडरों में से एक है जिनका सेल्फ़-सर्व पर कोई SLA नहीं है।
LLM API SLA असल में क्या वादा करता है?
SLA एक लिखित टारगेट है जिसके साथ एक उपाय जुड़ा होता है। यह API को चालू नहीं रखता। यह बताता है कि जब API चालू नहीं रहता, तो आपके बिल पर क्या होता है। नीचे के हर SLA के चार हिस्से हैं:
- एक टारगेट। आम तौर पर हर रीजन, प्रोजेक्ट या रिसोर्स के लिए मासिक अपटाइम प्रतिशत।
- डाउनटाइम की परिभाषा। लगभग हमेशा सिर्फ़ सर्वर एरर: मान्य अनुरोधों पर 500 या 5XX रिस्पॉन्स। 429 रेट लिमिट डाउनटाइम नहीं है। न धीमा जवाब, न ग़लत जवाब।
- एक उपाय। प्रभावित सर्विस के उस महीने के बिल का एक प्रतिशत, भविष्य के बिलों में क्रेडिट, और उसकी एक सीमा।
- क्लेम की प्रक्रिया। आप अपने लॉग के साथ, एक समय-सीमा के अंदर क्रेडिट माँगते हैं।
43,200 मिनट वाले 30 दिन के महीने में प्रतिशत मिनटों में ऐसे बदलते हैं:
| मासिक अपटाइम | अनुमत डाउनटाइम |
|---|---|
| 99.9% | लगभग 43 मिनट |
| 99.5% | 216 मिनट |
| 99.0% | 432 मिनट |
| 95.0% | 36 घंटे |
कौन-से LLM API SLA प्रकाशित करते हैं?
सभी पंक्तियाँ 15 नवंबर 2026 को प्रोवाइडर के अपने पेज से पढ़ी गईं। “नहीं मिला” का मतलब है कि जो पेज हमने जाँचा, उसमें कोई SLA नहीं लिखा; इससे किसी निजी कॉन्ट्रैक्ट की संभावना ख़त्म नहीं होती।
| प्रोवाइडर और सर्विस | अपटाइम टारगेट | डाउनटाइम किसे माना जाता है | क्रेडिट | लेटेंसी SLA | कौन कवर है |
|---|---|---|---|---|---|
| Microsoft Azure, Foundry Models (Azure OpenAI मॉडल शामिल) | 99.9% | एरर कोड लौटाने वाले अनुरोध, हर मिनट का औसत | 99.9% से नीचे 10%, 99% से नीचे 25% | हाँ, Provisioned Managed डिप्लॉयमेंट और Priority Processing के लिए | Azure द्वारा बेचे जाने वाले Foundry Models; Developer टियर बाहर |
| Amazon Bedrock | 99.9% (इससे नीचे क्रेडिट शुरू) | 500 एरर कोड लौटाने वाले अनुरोध, हर 5 मिनट के अंतराल पर, हर रीजन में | 10%, 99.0% से नीचे 25%, 95.0% से नीचे 100% | SLA में कोई नहीं | हर AWS रीजन में Bedrock |
| Google, Gemini ऑनलाइन इन्फ़रेंस API | 99.5% (कम उपलब्धता वाले मॉडलों के लिए 95%) | लगातार 5 या ज़्यादा मिनट तक 5% से ज़्यादा 5XX एरर दर | 10%, 99.0% से नीचे 25%, 95.0% से नीचे 50% | हाँ, ग्लोबल एंडपॉइंट पर Provisioned Throughput के तहत | generateContent और streamGenerateContent |
| OpenAI, Scale Tier | 99.9% | सार्वजनिक पेज पर परिभाषित नहीं | सार्वजनिक पेज पर नहीं बताया गया | 99% समय हर मॉडल के टोकन-प्रति-सेकंड न्यूनतम स्तर से ऊपर | Enterprise ग्राहक, कम से कम 30 दिन के लिए ख़रीदी गई टोकन यूनिट |
| OpenAI, स्टैंडर्ड उपयोग के अनुसार भुगतान | नहीं मिला | – | – | – | – |
| Anthropic API | नहीं मिला; शर्तें “as is” और “as available” कहती हैं | – | – | – | – |
| Fireworks AI, Reserved Throughput | 99.9% अपटाइम शर्तें | प्राइसिंग पेज पर नहीं बताया गया | नहीं बताया गया | थ्रूपुट SLA | सिर्फ़ रिज़र्व्ड क्षमता; ओवरेज कवर नहीं |
| Together AI | सर्वरलेस: कुछ नहीं बताया गया। “Provisioned Throughput: Token-based capacity with SLAs” (शर्तें पेज पर प्रकाशित नहीं) | – | – | – | SLA की शर्तों के लिए सेल्स से पूछें |
| BroadNet Inference, सेल्फ़-सर्व | कोई नहीं: “no availability commitment” | – | – | – | सर्विस लेवल सिर्फ़ अलग लिखित समझौते में |
हाइपरस्केलर के SLA आपस में कैसे अलग हैं?
Microsoft Azure। Microsoft का Learn पेज कहता है कि Azure द्वारा बेचे जाने वाले Foundry Models “include all Azure OpenAI models” (अनुवाद: सभी Azure OpenAI मॉडल शामिल करते हैं) और “covered by Azure service-level agreements” (अनुवाद: Azure सर्विस-लेवल समझौतों से कवर हैं)। समेकित SLA (अक्टूबर 2026 संस्करण) Error Rate को हर मिनट के हिसाब से, और Uptime Percentage को 100% में से औसत एरर दर घटाकर परिभाषित करता है। क्रेडिट 99.9% से नीचे 10% और 99% से नीचे 25% हैं। क्रेडिट सिर्फ़ Azure द्वारा बेचे जाने वाले Foundry Models पर लागू होते हैं, और “The Developer tier of the Foundry Models service is not covered by this SLA.” (अनुवाद: Foundry Models सर्विस का Developer टियर इस SLA से कवर नहीं है।) Provisioned Managed डिप्लॉयमेंट और Priority Processing के लिए, एक दूसरा SLA प्रोडक्ट डॉक्यूमेंटेशन में दिए हर मॉडल के टारगेट के मुक़ाबले टोकन प्रति सेकंड मापता है, और उपलब्धि 99% से नीचे जाने पर 10% क्रेडिट देता है।
Amazon Bedrock। AWS अपटाइम टेबल पूरी करने के लिए “commercially reasonable efforts” (अनुवाद: व्यावसायिक रूप से उचित प्रयास) का वादा करता है। उपलब्धता है “the percentage of Requests processed by Amazon Bedrock that do not fail with Errors” (अनुवाद: Amazon Bedrock द्वारा प्रोसेस किए गए उन अनुरोधों का प्रतिशत जो एरर के साथ फ़ेल नहीं होते), और Error है “any Request that returns a 500 error code” (अनुवाद: कोई भी अनुरोध जो 500 एरर कोड लौटाता है)। यह हर रीजन के लिए गिना जाता है, और जिन अंतरालों में कोई अनुरोध नहीं था, वे पूरी तरह उपलब्ध माने जाते हैं। अपवादों में ग्राहक की कार्रवाइयाँ, जैसे “scaling of provisioned throughput” (अनुवाद: प्रोविज़न्ड थ्रूपुट की स्केलिंग), और मॉडल सॉफ़्टवेयर से होने वाले “repeated model crashes or an inoperable model” (अनुवाद: बार-बार मॉडल क्रैश या काम न करने वाला मॉडल) शामिल हैं। SLA में कोई लेटेंसी टारगेट नहीं है।
Google Cloud। Gemini ऑनलाइन इन्फ़रेंस SLA इस मामले में सबसे सख़्त है कि क्या गिना जाता है। डाउनटाइम के लिए 5XX रिस्पॉन्स की 5% से ज़्यादा एरर दर चाहिए, जो “five or more consecutive minutes” (अनुवाद: लगातार पाँच या ज़्यादा मिनट) तक चले। क्रेडिट सर्विस के मासिक बिल के 50% तक सीमित हैं, आपको 30 दिन के अंदर लॉग फ़ाइलों के साथ सपोर्ट को सूचित करना होता है, और SLA आपका “sole and exclusive remedy” (अनुवाद: एकमात्र और विशेष उपाय) है। Google Search से ग्राउंडिंग, कोटा एरर और सर्वर डिफ़ॉल्ट से छोटी डेडलाइन बाहर रखी गई हैं। Provisioned Throughput के तहत, एक लेटेंसी SLA ग्लोबल एंडपॉइंट पर कुछ Gemini 2.5 मॉडलों को कवर करता है, जो हर 5 मिनट के अंतराल पर p50 टोकन प्रति सेकंड के रूप में मापा जाता है। अगर आप इसके बजाय Vertex AI पर अपना ओपन मॉडल डिप्लॉय करते हैं, तो अलग Vertex AI Platform SLA कस्टम मॉडल ऑनलाइन प्रेडिक्शन को 99.5% पर कवर करता है, पर सिर्फ़ “for models deployed on 2 or more nodes” (अनुवाद: 2 या ज़्यादा नोड पर डिप्लॉय किए गए मॉडलों के लिए)।
सीधे OpenAI और Anthropic का क्या?
OpenAI। Scale Tier पेज कहता है: “Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.” (अनुवाद: Scale Tier ट्रैफ़िक 99.9% अपटाइम SLA और प्राथमिकता वाला कंप्यूट देता है।) उसकी टेबल इसके साथ हर मॉडल का लेटेंसी SLA जोड़ती है, जैसे “99% > 50 tokens per second”, जो हर 5 मिनट में p50 अनुरोध लेटेंसी के रूप में गिना जाता है। पेज कहता है “This offering is available to Enterprise customers” (अनुवाद: यह ऑफ़र Enterprise ग्राहकों के लिए उपलब्ध है), कि हर टोकन यूनिट “for a minimum of 30 days” (अनुवाद: कम से कम 30 दिन के लिए) ख़रीदी जाती है, और कि Scale Tier GPT-5.6 से पहले जारी मॉडलों को कवर करता है, बाद के मॉडलों के लिए Reserved Tier है। स्टैंडर्ड उपयोग के अनुसार भुगतान वाले इस्तेमाल से जुड़ा कोई अपटाइम SLA हमें नहीं मिला। (openai.com ने हमारे फ़ेचर को ब्लॉक किया, इसलिए हमने पेज Internet Archive के 7 नवंबर 2026 के कैप्चर से पढ़ा।)
Anthropic। सार्वजनिक Commercial Terms (17 जून 2025 से लागू) में कोई SLA या सर्विस क्रेडिट नहीं है। सेक्शन L.2 सर्विस “AS IS” और “AS AVAILABLE” देता है और इस बात से इनकार करता है कि इस्तेमाल “WILL BE UNINTERRUPTED” (अनुवाद: बिना रुकावट होगा)। एंटरप्राइज़ समझौते अलग हो सकते हैं, पर वे सार्वजनिक नहीं हैं।
SLA से आपको क्या नहीं मिलता?
- ख़ुद अपटाइम। क्रेडिट आउटेज के बाद मिलता है। आपके यूज़र ने फिर भी उसे देखा।
- क्षमता। थ्रॉटलिंग (429) ऊपर की हर अपटाइम परिभाषा से बाहर है। Google साफ़ तौर पर “quotas applied by the system” (अनुवाद: सिस्टम द्वारा लागू कोटा) को बाहर रखता है। देखें 429 एरर कैसे सँभालें।
- स्पीड। सिर्फ़ प्रोविज़न्ड या रिज़र्व्ड टियर में टोकन-प्रति-सेकंड टारगेट होता है। स्टैंडर्ड ट्रैफ़िक पर धीमा जवाब भी सफल जवाब है। लेटेंसी मेट्रिक्स की व्याख्या।
- क्वालिटी। ग़लत जवाब वाला 200 रिस्पॉन्स कहीं भी डाउनटाइम नहीं है।
- ज़्यादा पैसा। क्रेडिट एक सर्विस के मासिक बिल का हिस्सा होते हैं, अक्सर सीमित, और आपको उन्हें अपने लॉग के साथ क्लेम करना पड़ता है।
बिना SLA वाले API पर कैसे बनाएँ?
ज़्यादातर टीमें बिना SLA वाले उपयोग के अनुसार भुगतान वाले API पर बनाती हैं। यह तब काम करता है जब ऐप्लिकेशन फ़ेलियर की उम्मीद रखता है:
- टाइमआउट सेट करें। लंबे जवाब स्ट्रीम करें और हर अनुरोध पर क्लाइंट टाइमआउट सेट करें, ताकि अटकी कॉल जल्दी फ़ेल हो। स्ट्रीमिंग गाइड।
- बैकऑफ़ और जिटर के साथ रीट्राई करें 429 और 5XX पर, और रीट्राई की सीमा रखें। एरर और रीट्राई।
- दूसरा प्रोवाइडर कॉन्फ़िगर रखें। OpenAI-कम्पैटिबल API के साथ फ़ॉलबैक का मतलब है दूसरा base URL, key और मॉडल ID। LLM API के बीच फ़ेलओवर कैसे करें।
- अनुरोध ID, टाइमस्टैम्प और स्टेटस कोड लॉग करें। किसी भी SLA क्लेम के लिए और अपनी असली एरर दर देखने के लिए ये चाहिए।
- जहाँ ज़रूरत हो, कॉन्ट्रैक्ट ख़रीदें। अगर अपटाइम एक सख़्त ज़रूरत है, तो लिखित SLA वाला प्रोवाइडर टियर इस्तेमाल करें, या तय सर्विस लेवल वाला प्राइवेट डिप्लॉयमेंट। प्राइवेट एंडपॉइंट से पहले क्या प्लान करें।
BroadNet Inference कहाँ फ़िट होता है
BroadRouter, BroadNet की अपनी वेबसाइट है। BroadNet के सेल्फ़-सर्व API का, चाहे उपयोग के अनुसार भुगतान हो या प्लान, कोई SLA नहीं है। उसकी सेवा की शर्तें (§7.4) कहती हैं: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (अनुवाद: हमारा लक्ष्य API को उपलब्ध रखना और जो हम मापते हैं उसे प्रकाशित करना है, पर सेल्फ़-सर्व पर उपलब्धता की कोई प्रतिबद्धता नहीं है।) और: “Service levels exist only in a separate written agreement.” (अनुवाद: सर्विस लेवल सिर्फ़ अलग लिखित समझौते में होते हैं।) इस मामले में Azure, AWS और Google ज़्यादा देते हैं: क्रेडिट के साथ लिखित अपटाइम टारगेट। BroadNet की उपयोग के अनुसार भुगतान वाली key पर 30 अनुरोध प्रति मिनट और एक साथ 4 चालू अनुरोध की अनुमति है। अपने सर्विंग सेटअप का BroadNet का अपना विवरण BroadNet का GPU हार्डवेयर और सर्विंग तरीक़ा में है, जिसे हम BroadNet के बयान के रूप में बताते हैं, प्रतिबद्धता के रूप में नहीं।
अगर आपका काम रीट्राई और फ़ॉलबैक के साथ चल सकता है, तो BroadNet का OpenAI-कम्पैटिबल एंडपॉइंट कॉन्फ़िगर करने के लिए एक और base URL है: https://inference.broadnet.ai/v1। अगर आपको अनुबंधित सर्विस लेवल चाहिए, तो भरोसा करने से पहले BroadNet से लिखित समझौते के बारे में पूछें। API रेफ़रंस पढ़ें या अकाउंट बनाएँ।
