हर LLM API के बुरे मिनट आते हैं: एक 503, एक टाइमआउट, 429 की झड़ी। फ़ॉलबैक का मतलब है कि वे मिनट आपके ऐप में आउटेज न बनें। यह पोस्ट दिखाती है कि अपने कोड में OpenAI-कम्पैटिबल प्रोवाइडरों के बीच फ़ेलओवर कैसे करें। इसमें है कि किन एरर पर यह चलना चाहिए, सर्किट ब्रेकर इसे तेज़ कैसे रखता है, और प्रोवाइडरों के बीच क्या मेल खाना ज़रूरी है ताकि यूज़र को स्विच का पता न चले।
पहले एक बात: BroadNet Inference आपके लिए प्रोवाइडरों के बीच रूटिंग या फ़ेलओवर नहीं करता, और BroadRouter भी नहीं। BroadRouter, BroadNet की अपनी वेबसाइट है, राउटर नहीं। फ़ॉलबैक आप ख़ुद बनाते हैं, या तो नीचे दिखाए तरीक़े से अपने क्लाइंट में, या LiteLLM जैसे गेटवे में।
फ़ॉलबैक प्रोवाइडर रखना ही क्यों चाहिए?
क्योंकि ज़्यादातर सेल्फ़-सर्व API अपटाइम का कोई वादा नहीं करते। BroadNet की शर्तें सेक्शन 7.4 में साफ़ कहती हैं: “self-serve has no availability commitment” (अनुवाद: सेल्फ़-सर्व पर उपलब्धता की कोई प्रतिबद्धता नहीं है), और सर्विस लेवल सिर्फ़ अलग लिखित समझौते में होते हैं (15 नवंबर 2026 को जाँचा गया)। दूसरे प्रोवाइडर क्या वादा करते हैं, यह LLM API SLA तुलना में है। अगर आपका फ़ीचर चालू रहना ही चाहिए, तो SLA जो भी कहे, दूसरा प्रोवाइडर व्यावहारिक बीमा है।
दूसरी वजह है रेट लिमिट। BroadNet की उपयोग के अनुसार भुगतान वाली key पर 30 अनुरोध प्रति मिनट और एक साथ 4 चालू अनुरोध की अनुमति है। इससे ऊपर का ट्रैफ़िक स्पाइक 429 लौटाता है, और जब तक आप क्षमता बढ़ाते हैं, दूसरा प्रोवाइडर अतिरिक्त भार सँभाल सकता है।
किन एरर पर फ़ेलओवर होना चाहिए?
एरर को दो समूहों में बाँटें। कुछ प्रोवाइडर की ग़लती हैं और कहीं और सफल हो सकते हैं। बाक़ी आपकी ग़लती हैं और हर जगह फ़ेल होंगे।
| एरर | फ़ेलओवर? | क्यों |
|---|---|---|
| कनेक्शन एरर, टाइमआउट | हाँ, रीट्राई के बाद | प्रोवाइडर या नेटवर्क तक पहुँच नहीं |
| 500, 502, 503, 504 | हाँ, रीट्राई के बाद | BroadNet का डॉक्यूमेंटेशन पहले “retry with bounded exponential backoff” (अनुवाद: सीमित एक्सपोनेंशियल बैकऑफ़ के साथ रीट्राई करें) कहता है |
| 429, रेट या कॉन्करेंसी लिमिट | हाँ, बैकऑफ़ के बाद | इस प्रोवाइडर की क्षमता की बात है, ग़लत अनुरोध नहीं |
| 429, ख़र्च की सीमा | नहीं | फ़ेलओवर उस बजट को बायपास करता है जो आपने जानबूझकर तय किया |
| 400, 422 | नहीं | अनुरोध अमान्य है और अगले प्रोवाइडर पर भी फ़ेल होगा |
| 401, 402 | नहीं | key, अलाउंस या बैलेंस। BroadNet पर 401 ख़त्म हो चुके उपयोग के अनुसार भुगतान वाले अलाउंस को भी कवर करता है, इसलिए फ़ेलओवर बिलिंग की समस्या छिपा देता है |
| 403, 413 | नहीं | नीति या आकार; अनुरोध ठीक करें |
BroadNet का API रेफ़रंस कहता है कि 429 का मतलब है “a rate, concurrency, token-rate or spending limit was reached” (अनुवाद: रेट, कॉन्करेंसी, टोकन-रेट या ख़र्च की कोई सीमा पूरी हो गई) और “use response details and bounded backoff” (अनुवाद: रिस्पॉन्स की जानकारी और सीमित बैकऑफ़ का इस्तेमाल करें)। फ़ेलओवर से पहले वह जानकारी पढ़ें, ताकि ख़र्च-सीमा वाला 429 अनुरोध को आगे बढ़ाने के बजाय रोक दे। एरर कोड गाइड हर स्टेटस लिस्ट करती है।
फ़ेलओवर से पहले रीट्राई करें। OpenAI Python SDK पहले ही कनेक्शन एरर, 408, 409, 429 और 5xx रिस्पॉन्स पर “2 times by default, with a short exponential backoff” (अनुवाद: डिफ़ॉल्ट रूप से 2 बार, छोटे एक्सपोनेंशियल बैकऑफ़ के साथ) रीट्राई करता है, और उसका डिफ़ॉल्ट टाइमआउट 10 मिनट है (README, 15 नवंबर 2026 को जाँचा गया)। फ़ेलओवर से पहले दस मिनट इंतज़ार बहुत लंबा है। हर क्लाइंट पर timeout सेट करें। 429 हैंडलिंग पोस्ट जिटर के साथ बैकऑफ़ समझाती है।
Python में फ़ेलओवर कैसा दिखता है?
दो क्लाइंट, एक क्रमवार सूची और एक छोटा सर्किट ब्रेकर। प्राइमरी है BroadNet पर GLM 5.3। बैकअप है DeepInfra पर वही ओपन-वेट मॉडल, जिसका डॉक्यूमेंटेशन base URL https://api.deepinfra.com/v1/openai बताता है (15 नवंबर 2026 को जाँचा गया)।
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
RateLimitError, InternalServerError)
PROVIDERS = [
{"name": "broadnet", "model": "broadnet/glm-5.3",
"client": OpenAI(base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_retries=2, timeout=60)},
{"name": "deepinfra", "model": "zai-org/GLM-5.3",
"client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
api_key=os.environ["DEEPINFRA_API_KEY"],
max_retries=2, timeout=60)},
]
# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3 # consecutive failures before the breaker opens
COOLDOWN = 30 # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}
def chat(messages, **kwargs):
last_error = None
for p in PROVIDERS:
s = state[p["name"]]
if time.monotonic() < s["open_until"]:
continue # breaker open: don't wait on a provider that is down
try:
reply = p["client"].chat.completions.create(
model=p["model"], messages=messages, **kwargs)
s["fails"] = 0
return p["name"], reply
except FAILOVER_ON as err:
last_error = err
s["fails"] += 1
if s["fails"] >= TRIP_AFTER:
s["open_until"] = time.monotonic() + COOLDOWN
raise RuntimeError("every provider failed") from last_error
served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
चार बातें अहम हैं:
- एक्सेप्शन क्लास। SDK 429 पर
RateLimitError, 500 और ऊपर परInternalServerError, और कनेक्ट न हो पाने परAPIConnectionError(जिसकी सबक्लासAPITimeoutErrorहै) उठाता है। बाक़ी सब जानबूझकर पकड़ा नहीं जाता। ख़र्च-सीमा वाले 429 को बाहर रखने के लिए आगे बढ़ने से पहलेerr.responseजाँचें। - सर्किट ब्रेकर। इसके बिना, डाउन प्राइमरी पर हर अनुरोध आगे बढ़ने से पहले पूरा टाइमआउट झेलता है। लगातार तीन फ़ेल के बाद प्राइमरी 30 सेकंड के लिए छोड़ दिया जाता है। उसके बाद अगला अनुरोध उसे फिर से आज़माता है।
- लॉग करें कि जवाब किसने दिया। प्रोवाइडर का नाम लौटाएँ और
reply.modelरखें। जब क्वालिटी बदले, तो आपको पता होना चाहिए कि जवाब किस प्रोवाइडर ने दिया। - रीज़निंग बजट। GLM 5.3 जवाब से पहले रीज़निंग करता है। BroadNet का डॉक्यूमेंटेशन कहता है कि रीज़निंग
max_tokensमें गिनी जाती है, इसलिए हर प्रोवाइडर पर 1,000 या ज़्यादा रखें।
प्रोवाइडरों के बीच मॉडल ID कैसे मैप करें?
एक ही ओपन-वेट मॉडल का हर होस्ट पर अलग ID होता है, और हर होस्ट की लिस्ट की गई सुविधाएँ अलग हो सकती हैं। 15 नवंबर 2026 को GLM 5.3:
| BroadNet Inference | DeepInfra | Fireworks AI | |
|---|---|---|---|
| मॉडल ID | broadnet/glm-5.3 |
zai-org/GLM-5.3 |
accounts/fireworks/models/glm-5p3 |
| कॉन्टेक्स्ट | 1,048,576 टोकन | 1,048,576 टोकन | “1040k” टोकन |
| टूल | डॉक्यूमेंटेड | “Function” लिस्टेड | सपोर्टेड |
| स्ट्रक्चर्ड आउटपुट | डॉक्यूमेंटेड | “JSON” लिस्टेड | जाँचा नहीं गया |
इससे दो नियम निकलते हैं। पहला, मैपिंग कॉन्फ़िग में रखें, कोड में बिखेरकर नहीं। दूसरा, फ़ॉलबैक को उससे मिलाएँ जो आपके अनुरोध इस्तेमाल करते हैं। BroadNet पर टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए डॉक्यूमेंटेड हैं। टूल कॉलिंग वाला एजेंट GLM 5.3 से कहीं और के GLM 5.3 पर फ़ेलओवर कर सकता है। वह सुरक्षित रूप से ऐसे मॉडल पर फ़ेलओवर नहीं कर सकता जिसके लिए टूल डॉक्यूमेंटेड नहीं हैं। अगर बैकअप की कॉन्टेक्स्ट विंडो छोटी है, तो प्रॉम्प्ट छोटा करें या लंबे अनुरोधों के लिए वह बैकअप छोड़ दें। 14 प्रोवाइडरों के base URL base URL रेफ़रंस में हैं।
स्विच के बाद जवाब तुलनीय कैसे रखें?
दो होस्ट पर एक ही वेट भी अलग जवाब दे सकते हैं, क्योंकि होस्ट अलग प्रिसिज़न, चैट टेम्पलेट या डिफ़ॉल्ट पैरामीटर इस्तेमाल कर सकते हैं। अलग मॉडल तो पक्का अलग जवाब देगा।
- अपना eval सेट सूची की हर एंट्री पर चलाएँ, सिर्फ़ प्राइमरी पर नहीं।
- हर अनुरोध पर
temperature,max_tokensऔर सिस्टम प्रॉम्प्ट तय रखें, ताकि प्रोवाइडर के डिफ़ॉल्ट आउटपुट न बदल सकें। - हर रास्ते पर स्ट्रक्चर्ड आउटपुट एक ही तरह वैलिडेट करें। अमान्य JSON ठीक करना रिपेयर-और-रीट्राई लूप समझाता है।
- एक ही होस्ट पर अलग मॉडल के बजाय कहीं और वही मॉडल चुनें। यूज़र कुछ सेकंड की लेटेंसी से ज़्यादा शैली के बदलाव को नोटिस करते हैं।
स्ट्रीमिंग और टूल कॉल का क्या?
स्ट्रीम आधे रास्ते में फ़ेल हो सकती है। BroadNet का डॉक्यूमेंटेशन कहता है कि जो स्ट्रीम data: [DONE] से पहले ख़त्म हो, उसे अधूरा मानें: X-Request-ID दर्ज करें और तय करें कि क्या आपका ऐप्लिकेशन सुरक्षित रूप से नया अनुरोध भेज सकता है।
- पहले टोकन से पहले: बेझिझक फ़ेलओवर करें। यूज़र ने कुछ नहीं देखा।
- टोकन दिखने के बाद: बैकअप पर फिर से शुरू करें और अधूरा जवाब बदल दें, या रीट्राई बटन के साथ एरर दिखाएँ। दो प्रोवाइडरों के आधे-आधे जवाब जोड़ना अच्छा नहीं पढ़ा जाता।
- साइड इफ़ेक्ट वाली टूल कॉल: सिर्फ़ इसलिए कि मॉडल कॉल फ़ेल हुई, ईमेल भेजने, कार्ड चार्ज करने या डेटाबेस में लिखने वाला स्टेप कभी दोबारा न चलाएँ। हर एक्शन को एक idempotency key दें। लंबे चलने वाले एजेंट चेकपॉइंट समझाता है।
SSE के साथ स्ट्रीमिंग बताता है कि जल्दी ख़त्म हुई स्ट्रीम का पता कैसे लगाएँ।
फ़ेलओवर की लागत क्या है?
- दोहराया गया काम। आपकी तरफ़ का टाइमआउट यह साबित नहीं करता कि प्रोवाइडर रुक गया। प्रति-टोकन बिलिंग में हर रीट्राई नया इन्फ़रेंस है, इसलिए कुछ अनुरोधों के लिए दो बार भुगतान की उम्मीद रखें।
- अलग कीमतें। बैकअप अपनी दरों पर बिल करता है। 15 नवंबर 2026 को DeepInfra ने GLM-5.3 की प्रमोशनल कीमत लिस्ट की थी, इसलिए बजट बनाने से पहले दोबारा जाँचें। BroadNet प्रति 1M टोकन $0.78 इनपुट, $0.173 कैश्ड इनपुट और $3.46 आउटपुट लेता है।
- ठंडा कैश। कैश्ड इनपुट प्रोवाइडरों के बीच नहीं जाता। बैकअप पर पहले अनुरोध उस प्रीफ़िक्स पर पूरी इनपुट कीमत देते हैं जो प्राइमरी पर कैश्ड था। देखें कैश्ड इनपुट टोकन।
- हेजिंग। हर अनुरोध एक साथ दो प्रोवाइडरों को भेजकर पहला जवाब रखने से टेल लेटेंसी घटती है, पर बिल लगभग दोगुना हो जाता है। इसे सिर्फ़ वहीं इस्तेमाल करें जहाँ लेटेंसी इतनी क़ीमती हो।
क्या फ़ॉलबैक भी वही डेटा शर्तें पूरी करता है?
फ़ॉलबैक प्रोवाइडर एक और प्रोसेसर है जिसे वही प्रॉम्प्ट मिलते हैं। अगर आपने ग्राहकों से उनके डेटा के बारे में कोई वादा किया है, तो वह वादा सूची की हर एंट्री पर टिकना चाहिए।
BroadNet का प्राइवेसी स्टेटमेंट कहता है: “We do not retain prompts, audio, images, answers or transcripts” (अनुवाद: हम प्रॉम्प्ट, ऑडियो, इमेज, जवाब या ट्रांसक्रिप्ट नहीं रखते)। इन्फ़रेंस कंटेंट नहीं रखा जाता; ज़रूरी अकाउंट, बिलिंग और सुरक्षा मेटाडेटा उस स्टेटमेंट में बताए अनुसार रखा जाता है। उसमें यह भी लिखा है कि इन्फ़रेंस डेटा मॉडल की ट्रेनिंग, फ़ाइन-ट्यूनिंग या मूल्यांकन में इस्तेमाल नहीं होता। स्टेटमेंट कहता है कि होस्ट किए गए मॉडल “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (अनुवाद: अमेरिका में BroadNet के अपने या लीज़ पर लिए हार्डवेयर पर चलते हैं, बैकअप के रूप में पार्टनर क्षमता के साथ); DeepSeek V4.1 Flash पार्टनर-होस्टेड है। रेज़िडेंसी की शर्तों वाले डेटा के लिए, शर्तें (सेक्शन 7.3a) कहती हैं कि भेजने से पहले प्रोसेसिंग लोकेशन तय कर लें। बैकअप के लिए भी यही बातें जाँचें: रिटेंशन, ट्रेनिंग में इस्तेमाल, लोकेशन और सबप्रोसेसर। अगर वह कम पड़ता है, तो संवेदनशील अनुरोधों को फ़ॉलबैक रास्ते से दूर रखें और उन्हें सुरक्षित रूप से फ़ेल होने दें (fail closed)। ज़ीरो डेटा रिटेंशन चेकलिस्ट सवाल लिस्ट करती है।
क्या इसकी जगह LiteLLM जैसा गेटवे इस्तेमाल करें?
अगर कई सर्विस को एक जैसे फ़ॉलबैक नियम चाहिए, तो गेटवे इस्तेमाल करें। LiteLLM का प्रॉक्सी एक fallbacks सूची लेता है जो क्रम से आज़माई जाती है। num_retries फ़ॉलबैक से पहले मॉडल ग्रुप को रीट्राई करता है। allowed_fails और cooldown_time फ़ेल हो रहे डिप्लॉयमेंट को कुछ देर के लिए हटा देते हैं, जो सर्किट ब्रेकर का काम करता है। अलग context_window_fallbacks और content_policy_fallbacks उन एरर प्रकारों को सँभालते हैं (LiteLLM डॉक्यूमेंटेशन, 15 नवंबर 2026 को जाँचा गया):
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
- model_name: glm-backup
litellm_params:
model: openai/zai-org/GLM-5.3
api_base: https://api.deepinfra.com/v1/openai
api_key: os.environ/DEEPINFRA_API_KEY
router_settings:
fallbacks: [{"glm": ["glm-backup"]}]
allowed_fails: 3
cooldown_time: 30
litellm_settings:
num_retries: 2
request_timeout: 60
LiteLLM प्रॉक्सी गाइड BroadNet की एंट्री पूरी दिखाती है। दोनों एंट्री LiteLLM का सामान्य openai/ प्रीफ़िक्स api_base के साथ इस्तेमाल करती हैं, वही पैटर्न जो गाइड में है। गेटवे एक हॉप और चालू रखने के लिए एक और चीज़ जोड़ता है। एक अकेले ऐप के लिए, ऊपर की तरह आपके क्लाइंट में लगभग 40 लाइनें काफ़ी हैं।
ज़रूरत पड़ने से पहले फ़ेलओवर कैसे टेस्ट करें?
- टेस्ट कॉन्फ़िग में प्राइमरी को ऐसे होस्ट पर पॉइंट करें जहाँ पहुँचा न जा सके, और जाँचें कि अनुरोध बैकअप पर पहुँचते हैं।
- जानबूझकर अमान्य अनुरोध भेजें और जाँचें कि वह फ़ेलओवर नहीं करता।
- प्राइमरी की अमान्य key इस्तेमाल करें और जाँचें कि 401 एरर के रूप में सामने आता है, चुपचाप स्विच नहीं होता।
- ब्रेकर पर नज़र रखें: तीन फ़ेल के बाद प्राइमरी बिना टाइमआउट का इंतज़ार किए छोड़ दिया जाना चाहिए।
- जब बैकअप ट्रैफ़िक के छोटे हिस्से से ज़्यादा सँभालने लगे, तो अलर्ट करें। चुपचाप होता फ़ेलओवर टूटे प्राइमरी को दिनों तक छिपा सकता है।
LiteLLM का Router सीधे टेस्ट में फ़ॉलबैक ज़बरदस्ती चलाने के लिए mock_testing_fallbacks=True स्वीकार करता है।
BroadNet Inference कहाँ फ़िट होता है
BroadRouter, BroadNet की वेबसाइट है, और BroadNet Inference आपकी सूची की कोई भी एंट्री हो सकता है। प्राइमरी के रूप में, यह डॉक्यूमेंटेड टूल और स्ट्रक्चर्ड आउटपुट वाले GLM 5.3 और Qwen3.8 27B, साथ में Gemma 4 VL 26B और DeepSeek V4.1 Flash देता है, एक base URL पर, बिना कोई कंटेंट रखे। बैकअप के रूप में, यह सूची में जोड़ने के लिए एक और OpenAI-कम्पैटिबल एंडपॉइंट है। दोनों हालात में फ़ेलओवर का लॉजिक आपका है: BroadNet प्रोवाइडरों के बीच रूटिंग नहीं करता, और सेल्फ़-सर्व पर कोई SLA नहीं है। अगर आपको अनुबंधित सर्विस लेवल चाहिए, तो वे सिर्फ़ अलग लिखित समझौते के साथ मिलते हैं। मॉडलों की तुलना करें, या अकाउंट बनाएँ और Gemma 4 VL 26B पर $5 के शुरुआती क्रेडिट से अपनी चेन टेस्ट करें। GLM 5.3 और Qwen3.8 27B के लिए टॉप-अप चाहिए।
