---
title: "LLM API फ़ेलओवर: बैकअप प्रोवाइडर, Python में | BroadRouter"
description: "OpenAI-कम्पैटिबल LLM प्रोवाइडरों के बीच फ़ेलओवर कैसे करें: किन एरर पर स्विच करें, सर्किट ब्रेकर, मॉडल ID मैपिंग, स्ट्रीमिंग, लागत और प्राइवेसी का मेल।"
url: https://broadrouter.com/hi/blog/llm-api-failover-fallback/
lang: hi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/blog/llm-api-failover-fallback/) (2026-11-16 को अपडेट किया गया).

# LLM API फ़ेलओवर: अपने कोड में दूसरे प्रोवाइडर पर फ़ॉलबैक

BroadNet Inference टीम · 8 मिनट में पढ़ें · प्रकाशित 2026-11-15 · अपडेट किया गया 2026-11-16

OpenAI-कम्पैटिबल प्रोवाइडरों की एक क्रमवार सूची रखें, हर एक का अपना क्लाइंट और मॉडल ID। SDK के अपने रीट्राई ख़त्म होने के बाद कनेक्शन एरर, टाइमआउट, 5xx और रेट-लिमिट वाले 429 पर फ़ेलओवर करें। 400, 401, 402, 403, 413 या 422 पर कभी फ़ेलओवर न करें। एक सर्किट ब्रेकर जोड़ें, और जाँचें कि बैकअप फ़ीचर और डेटा शर्तों में प्राइमरी से मेल खाता है।

## मुख्य बातें

-   सीमित रीट्राई के बाद कनेक्शन एरर, टाइमआउट, 5xx और रेट-लिमिट वाले 429 पर फ़ेलओवर करें। 400, 401, 402, 403, 413 या 422 अगले प्रोवाइडर पर भी वैसे ही फ़ेल होगा।
-   हर प्रोवाइडर पर मॉडल ID अलग है: GLM 5.3 BroadNet पर \`broadnet/glm-5.3\`, DeepInfra पर \`zai-org/GLM-5.3\` और Fireworks पर \`accounts/fireworks/models/glm-5p3\` है।
-   सर्किट ब्रेकर यह रोकता है कि प्राइमरी डाउन होने पर हर अनुरोध पर आपको टाइमआउट झेलना पड़े।
-   स्ट्रीम का फ़ेलओवर सिर्फ़ पहले टोकन से पहले करें, और कुछ बदलने वाली टूल कॉल कभी दोबारा न चलाएँ।
-   BroadNet और BroadRouter आपके लिए रूटिंग या फ़ेलओवर नहीं करते। BroadNet सेल्फ़-सर्व पर उपलब्धता की कोई प्रतिबद्धता नहीं है, इसलिए प्रोडक्शन ऐप में फ़ॉलबैक रखें।

**इस पेज पर**

1.  फ़ॉलबैक प्रोवाइडर रखना ही क्यों चाहिए?
2.  किन एरर पर फ़ेलओवर होना चाहिए?
3.  Python में फ़ेलओवर कैसा दिखता है?
4.  प्रोवाइडरों के बीच मॉडल ID कैसे मैप करें?
5.  स्विच के बाद जवाब तुलनीय कैसे रखें?
6.  स्ट्रीमिंग और टूल कॉल का क्या?
7.  फ़ेलओवर की लागत क्या है?
8.  क्या फ़ॉलबैक भी वही डेटा शर्तें पूरी करता है?
9.  क्या इसकी जगह LiteLLM जैसा गेटवे इस्तेमाल करें?
10.  ज़रूरत पड़ने से पहले फ़ेलओवर कैसे टेस्ट करें?
11.  BroadNet Inference कहाँ फ़िट होता है

हर LLM API के बुरे मिनट आते हैं: एक 503, एक टाइमआउट, 429 की झड़ी। फ़ॉलबैक का मतलब है कि वे मिनट आपके ऐप में आउटेज न बनें। यह पोस्ट दिखाती है कि अपने कोड में [OpenAI-कम्पैटिबल](https://broadrouter.com/hi/glossary/openai-compatible-api/) प्रोवाइडरों के बीच फ़ेलओवर कैसे करें। इसमें है कि किन एरर पर यह चलना चाहिए, सर्किट ब्रेकर इसे तेज़ कैसे रखता है, और प्रोवाइडरों के बीच क्या मेल खाना ज़रूरी है ताकि यूज़र को स्विच का पता न चले।

पहले एक बात: **BroadNet Inference आपके लिए प्रोवाइडरों के बीच रूटिंग या फ़ेलओवर नहीं करता**, और BroadRouter भी नहीं। BroadRouter, BroadNet की अपनी वेबसाइट है, राउटर नहीं। फ़ॉलबैक आप ख़ुद बनाते हैं, या तो नीचे दिखाए तरीक़े से अपने क्लाइंट में, या LiteLLM जैसे गेटवे में।

## फ़ॉलबैक प्रोवाइडर रखना ही क्यों चाहिए?

क्योंकि ज़्यादातर सेल्फ़-सर्व API अपटाइम का कोई वादा नहीं करते। BroadNet की [शर्तें](https://www.broadnet.ai/terms) सेक्शन 7.4 में साफ़ कहती हैं: “self-serve has no availability commitment” (अनुवाद: सेल्फ़-सर्व पर उपलब्धता की कोई प्रतिबद्धता नहीं है), और सर्विस लेवल सिर्फ़ अलग लिखित समझौते में होते हैं (15 नवंबर 2026 को जाँचा गया)। दूसरे प्रोवाइडर क्या वादा करते हैं, यह [LLM API SLA तुलना](https://broadrouter.com/hi/blog/llm-api-sla-uptime-compared/) में है। अगर आपका फ़ीचर चालू रहना ही चाहिए, तो SLA जो भी कहे, दूसरा प्रोवाइडर व्यावहारिक बीमा है।

दूसरी वजह है [रेट लिमिट](https://broadrouter.com/hi/glossary/rate-limit/)। BroadNet की उपयोग के अनुसार भुगतान वाली key पर 30 अनुरोध प्रति मिनट और एक साथ 4 चालू अनुरोध की अनुमति है। इससे ऊपर का ट्रैफ़िक स्पाइक 429 लौटाता है, और जब तक आप क्षमता बढ़ाते हैं, दूसरा प्रोवाइडर अतिरिक्त भार सँभाल सकता है।

## किन एरर पर फ़ेलओवर होना चाहिए?

एरर को दो समूहों में बाँटें। कुछ प्रोवाइडर की ग़लती हैं और कहीं और सफल हो सकते हैं। बाक़ी आपकी ग़लती हैं और हर जगह फ़ेल होंगे।

| एरर | फ़ेलओवर? | क्यों |
| --- | --- | --- |
| कनेक्शन एरर, टाइमआउट | हाँ, रीट्राई के बाद | प्रोवाइडर या नेटवर्क तक पहुँच नहीं |
| 500, 502, 503, 504 | हाँ, रीट्राई के बाद | BroadNet का डॉक्यूमेंटेशन पहले “retry with bounded exponential backoff” (अनुवाद: सीमित एक्सपोनेंशियल बैकऑफ़ के साथ रीट्राई करें) कहता है |
| 429, रेट या कॉन्करेंसी लिमिट | हाँ, बैकऑफ़ के बाद | इस प्रोवाइडर की क्षमता की बात है, ग़लत अनुरोध नहीं |
| 429, ख़र्च की सीमा | नहीं | फ़ेलओवर उस बजट को बायपास करता है जो आपने जानबूझकर तय किया |
| 400, 422 | नहीं | अनुरोध अमान्य है और अगले प्रोवाइडर पर भी फ़ेल होगा |
| 401, 402 | नहीं | key, अलाउंस या बैलेंस। BroadNet पर 401 ख़त्म हो चुके उपयोग के अनुसार भुगतान वाले अलाउंस को भी कवर करता है, इसलिए फ़ेलओवर बिलिंग की समस्या छिपा देता है |
| 403, 413 | नहीं | नीति या आकार; अनुरोध ठीक करें |

BroadNet का [API रेफ़रंस](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-llm-api-failover-fallback&utm_content=body) कहता है कि 429 का मतलब है “a rate, concurrency, token-rate or spending limit was reached” (अनुवाद: रेट, कॉन्करेंसी, टोकन-रेट या ख़र्च की कोई सीमा पूरी हो गई) और “use response details and bounded backoff” (अनुवाद: रिस्पॉन्स की जानकारी और सीमित बैकऑफ़ का इस्तेमाल करें)। फ़ेलओवर से पहले वह जानकारी पढ़ें, ताकि ख़र्च-सीमा वाला 429 अनुरोध को आगे बढ़ाने के बजाय रोक दे। [एरर कोड गाइड](https://broadrouter.com/hi/guides/errors-and-retries/) हर स्टेटस लिस्ट करती है।

फ़ेलओवर से पहले रीट्राई करें। OpenAI Python SDK पहले ही कनेक्शन एरर, 408, 409, 429 और 5xx रिस्पॉन्स पर “2 times by default, with a short exponential backoff” (अनुवाद: डिफ़ॉल्ट रूप से 2 बार, छोटे एक्सपोनेंशियल बैकऑफ़ के साथ) रीट्राई करता है, और उसका डिफ़ॉल्ट टाइमआउट 10 मिनट है ([README](https://github.com/openai/openai-python), 15 नवंबर 2026 को जाँचा गया)। फ़ेलओवर से पहले दस मिनट इंतज़ार बहुत लंबा है। हर क्लाइंट पर `timeout` सेट करें। [429 हैंडलिंग पोस्ट](https://broadrouter.com/hi/blog/handle-llm-api-429-rate-limits/) जिटर के साथ बैकऑफ़ समझाती है।

## Python में फ़ेलओवर कैसा दिखता है?

दो क्लाइंट, एक क्रमवार सूची और एक छोटा सर्किट ब्रेकर। प्राइमरी है BroadNet पर GLM 5.3। बैकअप है DeepInfra पर वही ओपन-वेट मॉडल, जिसका डॉक्यूमेंटेशन base URL `https://api.deepinfra.com/v1/openai` बताता है (15 नवंबर 2026 को जाँचा गया)।

```python
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}

def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error

served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
```

चार बातें अहम हैं:

1.  **एक्सेप्शन क्लास।** SDK 429 पर `RateLimitError`, 500 और ऊपर पर `InternalServerError`, और कनेक्ट न हो पाने पर `APIConnectionError` (जिसकी सबक्लास `APITimeoutError` है) उठाता है। बाक़ी सब जानबूझकर पकड़ा नहीं जाता। ख़र्च-सीमा वाले 429 को बाहर रखने के लिए आगे बढ़ने से पहले `err.response` जाँचें।
2.  **सर्किट ब्रेकर।** इसके बिना, डाउन प्राइमरी पर हर अनुरोध आगे बढ़ने से पहले पूरा टाइमआउट झेलता है। लगातार तीन फ़ेल के बाद प्राइमरी 30 सेकंड के लिए छोड़ दिया जाता है। उसके बाद अगला अनुरोध उसे फिर से आज़माता है।
3.  **लॉग करें कि जवाब किसने दिया।** प्रोवाइडर का नाम लौटाएँ और `reply.model` रखें। जब क्वालिटी बदले, तो आपको पता होना चाहिए कि जवाब किस प्रोवाइडर ने दिया।
4.  **रीज़निंग बजट।** GLM 5.3 जवाब से पहले रीज़निंग करता है। BroadNet का डॉक्यूमेंटेशन कहता है कि रीज़निंग `max_tokens` में गिनी जाती है, इसलिए हर प्रोवाइडर पर 1,000 या ज़्यादा रखें।

## प्रोवाइडरों के बीच मॉडल ID कैसे मैप करें?

एक ही ओपन-वेट मॉडल का हर होस्ट पर अलग ID होता है, और हर होस्ट की लिस्ट की गई सुविधाएँ अलग हो सकती हैं। 15 नवंबर 2026 को GLM 5.3:

|  | BroadNet Inference | DeepInfra | Fireworks AI |
| --- | --- | --- | --- |
| मॉडल ID | `broadnet/glm-5.3` | `zai-org/GLM-5.3` | `accounts/fireworks/models/glm-5p3` |
| कॉन्टेक्स्ट | 1,048,576 टोकन | 1,048,576 टोकन | “1040k” टोकन |
| टूल | डॉक्यूमेंटेड | “Function” लिस्टेड | सपोर्टेड |
| स्ट्रक्चर्ड आउटपुट | डॉक्यूमेंटेड | “JSON” लिस्टेड | जाँचा नहीं गया |

इससे दो नियम निकलते हैं। पहला, मैपिंग कॉन्फ़िग में रखें, कोड में बिखेरकर नहीं। दूसरा, फ़ॉलबैक को उससे मिलाएँ जो आपके अनुरोध इस्तेमाल करते हैं। BroadNet पर टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए डॉक्यूमेंटेड हैं। टूल कॉलिंग वाला एजेंट GLM 5.3 से कहीं और के GLM 5.3 पर फ़ेलओवर कर सकता है। वह सुरक्षित रूप से ऐसे मॉडल पर फ़ेलओवर नहीं कर सकता जिसके लिए टूल डॉक्यूमेंटेड नहीं हैं। अगर बैकअप की कॉन्टेक्स्ट विंडो छोटी है, तो प्रॉम्प्ट छोटा करें या लंबे अनुरोधों के लिए वह बैकअप छोड़ दें। 14 प्रोवाइडरों के base URL [base URL रेफ़रंस](https://broadrouter.com/hi/blog/openai-compatible-api-base-urls/) में हैं।

## स्विच के बाद जवाब तुलनीय कैसे रखें?

दो होस्ट पर एक ही वेट भी अलग जवाब दे सकते हैं, क्योंकि होस्ट अलग प्रिसिज़न, चैट टेम्पलेट या डिफ़ॉल्ट पैरामीटर इस्तेमाल कर सकते हैं। अलग मॉडल तो पक्का अलग जवाब देगा।

-   अपना [eval सेट](https://broadrouter.com/hi/blog/evaluate-llm-before-switching/) सूची की हर एंट्री पर चलाएँ, सिर्फ़ प्राइमरी पर नहीं।
-   हर अनुरोध पर `temperature`, `max_tokens` और सिस्टम प्रॉम्प्ट तय रखें, ताकि प्रोवाइडर के डिफ़ॉल्ट आउटपुट न बदल सकें।
-   हर रास्ते पर स्ट्रक्चर्ड आउटपुट एक ही तरह वैलिडेट करें। [अमान्य JSON ठीक करना](https://broadrouter.com/hi/blog/fix-invalid-json-from-llm/) रिपेयर-और-रीट्राई लूप समझाता है।
-   एक ही होस्ट पर अलग मॉडल के बजाय कहीं और वही मॉडल चुनें। यूज़र कुछ सेकंड की लेटेंसी से ज़्यादा शैली के बदलाव को नोटिस करते हैं।

## स्ट्रीमिंग और टूल कॉल का क्या?

स्ट्रीम आधे रास्ते में फ़ेल हो सकती है। BroadNet का डॉक्यूमेंटेशन कहता है कि जो स्ट्रीम `data: [DONE]` से पहले ख़त्म हो, उसे अधूरा मानें: `X-Request-ID` दर्ज करें और तय करें कि क्या आपका ऐप्लिकेशन सुरक्षित रूप से नया अनुरोध भेज सकता है।

-   **पहले टोकन से पहले:** बेझिझक फ़ेलओवर करें। यूज़र ने कुछ नहीं देखा।
-   **टोकन दिखने के बाद:** बैकअप पर फिर से शुरू करें और अधूरा जवाब बदल दें, या रीट्राई बटन के साथ एरर दिखाएँ। दो प्रोवाइडरों के आधे-आधे जवाब जोड़ना अच्छा नहीं पढ़ा जाता।
-   **साइड इफ़ेक्ट वाली टूल कॉल:** सिर्फ़ इसलिए कि मॉडल कॉल फ़ेल हुई, ईमेल भेजने, कार्ड चार्ज करने या डेटाबेस में लिखने वाला स्टेप कभी दोबारा न चलाएँ। हर एक्शन को एक [idempotency key](https://broadrouter.com/hi/glossary/idempotency-key/) दें। [लंबे चलने वाले एजेंट](https://broadrouter.com/hi/blog/long-running-agents-timeouts-retries/) चेकपॉइंट समझाता है।

[SSE के साथ स्ट्रीमिंग](https://broadrouter.com/hi/blog/llm-streaming-sse-explained/) बताता है कि जल्दी ख़त्म हुई स्ट्रीम का पता कैसे लगाएँ।

## फ़ेलओवर की लागत क्या है?

-   **दोहराया गया काम।** आपकी तरफ़ का टाइमआउट यह साबित नहीं करता कि प्रोवाइडर रुक गया। प्रति-टोकन बिलिंग में हर रीट्राई नया इन्फ़रेंस है, इसलिए कुछ अनुरोधों के लिए दो बार भुगतान की उम्मीद रखें।
-   **अलग कीमतें।** बैकअप अपनी दरों पर बिल करता है। 15 नवंबर 2026 को DeepInfra ने GLM-5.3 की प्रमोशनल कीमत लिस्ट की थी, इसलिए बजट बनाने से पहले दोबारा जाँचें। BroadNet प्रति 1M टोकन $0.78 इनपुट, $0.173 कैश्ड इनपुट और $3.46 आउटपुट लेता है।
-   **ठंडा कैश।** कैश्ड इनपुट प्रोवाइडरों के बीच नहीं जाता। बैकअप पर पहले अनुरोध उस प्रीफ़िक्स पर पूरी इनपुट कीमत देते हैं जो प्राइमरी पर कैश्ड था। देखें [कैश्ड इनपुट टोकन](https://broadrouter.com/hi/blog/cached-input-tokens-explained/)।
-   **हेजिंग।** हर अनुरोध एक साथ दो प्रोवाइडरों को भेजकर पहला जवाब रखने से टेल लेटेंसी घटती है, पर बिल लगभग दोगुना हो जाता है। इसे सिर्फ़ वहीं इस्तेमाल करें जहाँ लेटेंसी इतनी क़ीमती हो।

## क्या फ़ॉलबैक भी वही डेटा शर्तें पूरी करता है?

फ़ॉलबैक प्रोवाइडर एक और प्रोसेसर है जिसे वही प्रॉम्प्ट मिलते हैं। अगर आपने ग्राहकों से उनके डेटा के बारे में कोई वादा किया है, तो वह वादा सूची की हर एंट्री पर टिकना चाहिए।

BroadNet का [प्राइवेसी स्टेटमेंट](https://www.broadnet.ai/inference-privacy) कहता है: “We do not retain prompts, audio, images, answers or transcripts” (अनुवाद: हम प्रॉम्प्ट, ऑडियो, इमेज, जवाब या ट्रांसक्रिप्ट नहीं रखते)। इन्फ़रेंस कंटेंट नहीं रखा जाता; ज़रूरी अकाउंट, बिलिंग और सुरक्षा मेटाडेटा उस स्टेटमेंट में बताए अनुसार रखा जाता है। उसमें यह भी लिखा है कि इन्फ़रेंस डेटा मॉडल की ट्रेनिंग, फ़ाइन-ट्यूनिंग या मूल्यांकन में इस्तेमाल नहीं होता। स्टेटमेंट कहता है कि होस्ट किए गए मॉडल “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (अनुवाद: अमेरिका में BroadNet के अपने या लीज़ पर लिए हार्डवेयर पर चलते हैं, बैकअप के रूप में पार्टनर क्षमता के साथ); DeepSeek V4.1 Flash पार्टनर-होस्टेड है। रेज़िडेंसी की शर्तों वाले डेटा के लिए, शर्तें (सेक्शन 7.3a) कहती हैं कि भेजने से पहले प्रोसेसिंग लोकेशन तय कर लें। बैकअप के लिए भी यही बातें जाँचें: रिटेंशन, ट्रेनिंग में इस्तेमाल, लोकेशन और सबप्रोसेसर। अगर वह कम पड़ता है, तो संवेदनशील अनुरोधों को फ़ॉलबैक रास्ते से दूर रखें और उन्हें सुरक्षित रूप से फ़ेल होने दें (fail closed)। [ज़ीरो डेटा रिटेंशन चेकलिस्ट](https://broadrouter.com/hi/blog/zero-data-retention-llm-api-checklist/) सवाल लिस्ट करती है।

## क्या इसकी जगह LiteLLM जैसा गेटवे इस्तेमाल करें?

अगर कई सर्विस को एक जैसे फ़ॉलबैक नियम चाहिए, तो गेटवे इस्तेमाल करें। LiteLLM का प्रॉक्सी एक `fallbacks` सूची लेता है जो क्रम से आज़माई जाती है। `num_retries` फ़ॉलबैक से पहले मॉडल ग्रुप को रीट्राई करता है। `allowed_fails` और `cooldown_time` फ़ेल हो रहे डिप्लॉयमेंट को कुछ देर के लिए हटा देते हैं, जो सर्किट ब्रेकर का काम करता है। अलग `context_window_fallbacks` और `content_policy_fallbacks` उन एरर प्रकारों को सँभालते हैं ([LiteLLM डॉक्यूमेंटेशन](https://docs.litellm.ai/docs/proxy/reliability), 15 नवंबर 2026 को जाँचा गया):

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60
```

[LiteLLM प्रॉक्सी गाइड](https://broadrouter.com/hi/guides/litellm-proxy-custom-provider/) BroadNet की एंट्री पूरी दिखाती है। दोनों एंट्री LiteLLM का सामान्य `openai/` प्रीफ़िक्स `api_base` के साथ इस्तेमाल करती हैं, वही पैटर्न जो गाइड में है। गेटवे एक हॉप और चालू रखने के लिए एक और चीज़ जोड़ता है। एक अकेले ऐप के लिए, ऊपर की तरह आपके क्लाइंट में लगभग 40 लाइनें काफ़ी हैं।

## ज़रूरत पड़ने से पहले फ़ेलओवर कैसे टेस्ट करें?

1.  टेस्ट कॉन्फ़िग में प्राइमरी को ऐसे होस्ट पर पॉइंट करें जहाँ पहुँचा न जा सके, और जाँचें कि अनुरोध बैकअप पर पहुँचते हैं।
2.  जानबूझकर अमान्य अनुरोध भेजें और जाँचें कि वह फ़ेलओवर **नहीं** करता।
3.  प्राइमरी की अमान्य key इस्तेमाल करें और जाँचें कि 401 एरर के रूप में सामने आता है, चुपचाप स्विच नहीं होता।
4.  ब्रेकर पर नज़र रखें: तीन फ़ेल के बाद प्राइमरी बिना टाइमआउट का इंतज़ार किए छोड़ दिया जाना चाहिए।
5.  जब बैकअप ट्रैफ़िक के छोटे हिस्से से ज़्यादा सँभालने लगे, तो अलर्ट करें। चुपचाप होता फ़ेलओवर टूटे प्राइमरी को दिनों तक छिपा सकता है।

LiteLLM का `Router` सीधे टेस्ट में फ़ॉलबैक ज़बरदस्ती चलाने के लिए `mock_testing_fallbacks=True` स्वीकार करता है।

## BroadNet Inference कहाँ फ़िट होता है

BroadRouter, BroadNet की वेबसाइट है, और BroadNet Inference आपकी सूची की कोई भी एंट्री हो सकता है। प्राइमरी के रूप में, यह डॉक्यूमेंटेड टूल और स्ट्रक्चर्ड आउटपुट वाले GLM 5.3 और Qwen3.8 27B, साथ में Gemma 4 VL 26B और DeepSeek V4.1 Flash देता है, एक [base URL](https://broadrouter.com/hi/glossary/base-url/) पर, बिना कोई कंटेंट रखे। बैकअप के रूप में, यह सूची में जोड़ने के लिए एक और OpenAI-कम्पैटिबल एंडपॉइंट है। दोनों हालात में फ़ेलओवर का लॉजिक आपका है: BroadNet प्रोवाइडरों के बीच रूटिंग नहीं करता, और सेल्फ़-सर्व पर कोई SLA नहीं है। अगर आपको अनुबंधित सर्विस लेवल चाहिए, तो वे सिर्फ़ अलग लिखित समझौते के साथ मिलते हैं। [मॉडलों](https://broadrouter.com/hi/models/) की तुलना करें, या [अकाउंट बनाएँ](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-llm-api-failover-fallback&utm_content=body) और Gemma 4 VL 26B पर $5 के शुरुआती क्रेडिट से अपनी चेन टेस्ट करें। GLM 5.3 और Qwen3.8 27B के लिए टॉप-अप चाहिए।

इस विषय के मुफ़्त टूल (अंग्रेज़ी में)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[मुफ़्त टूल (अंग्रेज़ी में)](https://broadrouter.com/tools/)

## इस लेख के शब्द

[base URL](https://broadrouter.com/hi/glossary/base-url/)

base URL किसी API का तय मूल पता है, जैसे https://api.example.com/v1, जिसे क्लाइंट /chat/completions जैसे हर एंडपॉइंट पाथ के आगे जोड़ता है। OpenAI-compatible SDK में base URL को API key और मॉडल ID के साथ बदलने से वही कोड किसी दूसरे प्रोवाइडर से जुड़ जाता है।

[टोकन (token)](https://broadrouter.com/hi/glossary/token/)

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

[एक्सपोनेंशियल बैकऑफ़ (exponential backoff)](https://broadrouter.com/hi/glossary/exponential-backoff/)

एक्सपोनेंशियल बैकऑफ़ री-ट्राई की एक रणनीति है जिसमें क्लाइंट हर नाकाम कोशिश के बाद, दोबारा कोशिश करने से पहले, ज़्यादा देर इंतज़ार करता है, आम तौर पर देरी को एक सीमा तक दोगुना करते हुए। हर इंतज़ार में रैंडम jitter जोड़ने से कई क्लाइंट के री-ट्राई बिखर जाते हैं, ताकि वे एक ही पल सर्वर पर न पहुँचें।

[कॉन्करेंसी (concurrency)](https://broadrouter.com/hi/glossary/concurrency/)

कॉन्करेंसी, किसी क्लाइंट के एक ही समय पर चल रहे (in-flight) अनुरोधों की संख्या है। LLM API अक्सर इसकी सीमा हर key या प्लान पर, प्रति मिनट अनुरोधों से अलग रखते हैं, क्योंकि हर खुला अनुरोध जवाब पूरा होने तक GPU क्षमता घेरे रहता है।

[रिक्वेस्ट टाइमआउट (request timeout)](https://broadrouter.com/hi/glossary/request-timeout/)

रिक्वेस्ट टाइमआउट वह अधिकतम समय है जितना कोई HTTP क्लाइंट सर्वर का इंतज़ार करता है, उसके बाद अनुरोध छोड़ देता है। क्लाइंट आम तौर पर इसे कनेक्शन खोलने के connect टाइमआउट और डेटा के इंतज़ार वाले read टाइमआउट में बाँटते हैं। LLM कॉल को खुले read टाइमआउट चाहिए, क्योंकि लंबे जवाबों में समय लगता है।

[उपयोग के अनुसार भुगतान (pay-as-you-go)](https://broadrouter.com/hi/glossary/pay-as-you-go/)

उपयोग के अनुसार भुगतान (pay-as-you-go) एक प्राइसिंग मॉडल है जिसमें आप सिर्फ़ उतना देते हैं जितना इस्तेमाल करते हैं, जिसे टोकन, अनुरोध या ऑडियो मिनट जैसी इकाइयों में मापा जाता है, बिना सब्सक्रिप्शन या न्यूनतम प्रतिबद्धता के। ज़्यादातर LLM API इसी तरह बिल बनाते हैं, प्रीपेड बैलेंस या समय-समय पर बनने वाले इनवॉइस से।

[स्ट्रक्चर्ड आउटपुट (structured output)](https://broadrouter.com/hi/glossary/structured-output/)

स्ट्रक्चर्ड आउटपुट LLM API का एक फ़ीचर है जो मॉडल के जवाब को डेवलपर के तय फ़ॉर्मैट, आम तौर पर JSON Schema, तक सीमित करता है, ताकि कोड उसे भरोसे से पार्स कर सके। यह JSON mode से सख़्त है, जो मान्य JSON की गारंटी देता है, लेकिन किसी ख़ास ढाँचे की नहीं।

[लेटेंसी (latency)](https://broadrouter.com/hi/glossary/latency/)

लैंग्वेज मॉडल API के लिए लेटेंसी वह समय है जो किसी अनुरोध के भेजे जाने से अंतिम आउटपुट टोकन मिलने तक लगता है। यह पहले टोकन तक के समय और जनरेशन टाइम का जोड़ है, और आम तौर पर औसत के बजाय p50 और p95 जैसे परसेंटाइल में बताई जाती है।

## अक्सर पूछे जाने वाले सवाल

### किन एरर पर LLM API फ़ॉलबैक चलना चाहिए?

SDK के अपने रीट्राई के बाद कनेक्शन एरर, टाइमआउट, 5xx और रेट-लिमिट वाले 429 पर। 400, 401, 402, 403, 413 या 422 पर फ़ेलओवर न करें: अनुरोध या अकाउंट में गड़बड़ है, और अगला प्रोवाइडर भी वैसे ही फ़ेल होगा या बिलिंग की समस्या छिप जाएगी।

### क्या BroadNet अपने आप दूसरे प्रोवाइडर पर फ़ेलओवर करता है?

नहीं। BroadNet Inference मॉडलों या प्रोवाइडरों के बीच अनुरोध रूट नहीं करता, और BroadRouter, यानी यह साइट, BroadNet की जानकारी वाली साइट है, राउटर नहीं। फ़ॉलबैक आप अपने क्लाइंट में या LiteLLM जैसे गेटवे में बनाते हैं।

### क्या मैं हर प्रोवाइडर पर एक ही मॉडल ID इस्तेमाल कर सकता हूँ?

नहीं। हर प्रोवाइडर एक ही ओपन-वेट मॉडल का नाम अलग रखता है। GLM 5.3 BroadNet पर \`broadnet/glm-5.3\`, DeepInfra पर \`zai-org/GLM-5.3\` और Fireworks पर \`accounts/fireworks/models/glm-5p3\` है (15 नवंबर 2026 को जाँचा गया)। हर प्रोवाइडर की मैपिंग अलग रखें।

### क्या फ़ेल हुई कोशिशों का पैसा लगता है?

लग सकता है। आपकी तरफ़ का टाइमआउट यह साबित नहीं करता कि प्रोवाइडर ने काम रोक दिया, और प्रति-टोकन बिलिंग में हर रीट्राई एक नया इन्फ़रेंस है। कुछ अनुरोधों के दो बार बिल होने का बजट रखें और हर अनुरोध पर कोशिशों की सीमा तय करें।

### क्या फ़ॉलबैक प्रोवाइडर की प्राइवेसी शर्तें भी वैसी ही होनी चाहिए?

हाँ। फ़ॉलबैक एक और प्रोसेसर है जो वही प्रॉम्प्ट देखता है। जोड़ने से पहले उसकी रिटेंशन, ट्रेनिंग और प्रोसेसिंग लोकेशन की शर्तें जाँचें, वरना आपका प्राइवेसी वादा सिर्फ़ तब तक टिकता है जब तक प्राइमरी चालू है।

### क्या BroadNet का कोई SLA है?

सेल्फ़-सर्व के लिए नहीं। BroadNet की शर्तें (सेक्शन 7.4) कहती हैं कि सेल्फ़-सर्व पर उपलब्धता की कोई प्रतिबद्धता नहीं है; सर्विस लेवल सिर्फ़ अलग लिखित समझौते में होते हैं।

## आगे पढ़ें

-   [LLM API में 429 एरर कैसे सँभालें: बैकऑफ़, जिटर और लिमिटर](https://broadrouter.com/hi/blog/handle-llm-api-429-rate-limits/)
-   [लंबे चलने वाले एजेंट: टिकाऊ timeout, retry और checkpoint](https://broadrouter.com/hi/blog/long-running-agents-timeouts-retries/)
-   [OpenAI-compatible API के base URL: 14 प्रोवाइडर, डॉक्स से जाँचे हुए](https://broadrouter.com/hi/blog/openai-compatible-api-base-urls/)
-   [LLM API SLA तुलना: Azure, Bedrock, Google और OpenAI क्या वादा करते हैं](https://broadrouter.com/hi/blog/llm-api-sla-uptime-compared/)
-   [प्रोवाइडर बदलने से पहले LLM का मूल्यांकन कैसे करें](https://broadrouter.com/hi/blog/evaluate-llm-before-switching/)
-   [BroadNet का GPU हार्डवेयर और सर्विंग का तरीक़ा, BroadNet के शब्दों में](https://broadrouter.com/hi/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API रिस्पॉन्स कैश करके लागत घटाएँ: Python में एक्ज़ैक्ट-मैच कैश](https://broadrouter.com/hi/blog/cache-llm-responses-cut-cost/)
-   [गाइड: BroadNet Inference के एरर कोड और रीट्राई कब करें](https://broadrouter.com/hi/guides/errors-and-retries/)
-   [गाइड: LiteLLM को BroadNet Inference पर रूट करें (SDK और प्रॉक्सी)](https://broadrouter.com/hi/guides/litellm-proxy-custom-provider/)
-   [गाइड: BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-llm-api-failover-fallback&utm_content=page-cta) ·

**स्रोत**

-   [BroadNet Inference API रेफ़रंस: एरर और रीट्राई, सीमाएँ, स्ट्रीमिंग, मॉडल क्षमताएँ (2026-11-15 को जाँचा गया) (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-llm-api-failover-fallback&utm_content=sources)
-   [BroadNet सेवा की शर्तें, सेक्शन 7.3a (प्रोसेसिंग लोकेशन) और 7.4 (उपलब्धता) (2026-11-15 को जाँचा गया) (अंग्रेज़ी में)](https://www.broadnet.ai/terms)
-   [BroadNet इन्फ़रेंस प्राइवेसी स्टेटमेंट: कंटेंट रिटेंशन नहीं, ट्रेनिंग नहीं, US हार्डवेयर और पार्टनर बैकअप (2026-11-15 को जाँचा गया) (अंग्रेज़ी में)](https://www.broadnet.ai/inference-privacy)
-   [OpenAI Python SDK README: रीट्राई, टाइमआउट और एरर क्लास (2026-11-15 को जाँचा गया)](https://github.com/openai/openai-python)
-   [LiteLLM डॉक्यूमेंटेशन, प्रॉक्सी विश्वसनीयता: fallbacks, num\_retries, allowed\_fails, cooldown\_time (2026-11-15 को जाँचा गया)](https://docs.litellm.ai/docs/proxy/reliability)
-   [DeepInfra डॉक्यूमेंटेशन, चैट ओवरव्यू: OpenAI-कम्पैटिबल base URL (2026-11-15 को जाँचा गया)](https://docs.deepinfra.com/chat/overview)
-   [DeepInfra मॉडल पेज, zai-org/GLM-5.3: कॉन्टेक्स्ट, फ़ंक्शन कॉलिंग और JSON सपोर्ट (2026-11-15 को जाँचा गया)](https://deepinfra.com/zai-org/GLM-5.3)
-   [Fireworks AI मॉडल पेज, GLM 5.3: मॉडल ID, कॉन्टेक्स्ट और टूल सपोर्ट (2026-11-15 को जाँचा गया)](https://fireworks.ai/models/fireworks/glm-5p3)
