एक मॉडल से बात करने वाले ऐप को राउटर की ज़रूरत नहीं। राउटर तब आते हैं जब कोई टीम कई मॉडल या प्रोवाइडर इस्तेमाल करती है और उनके बीच चुनने के लिए एक जगह चाहती है।
यह कैसे काम करता है
ऐप राउटर को OpenAI-स्टाइल अनुरोध भेजता है। राउटर अपने नियम लगाता है, अनुरोध किसी बैकएंड को आगे भेजता है, और जवाब उसी फ़ॉर्मैट में लौटाता है। तीन आम प्रकार हैं:
- होस्टेड एग्रीगेटर. उदाहरण के लिए OpenRouter
https://openrouter.ai/api/v1पर “hundreds of AI models through a single API endpoint” (अनुवाद: एक ही API endpoint से सैकड़ों AI मॉडल) देता है, automatic fallbacks के साथ। आपके पास एक key और एक बिल होता है; प्रोवाइडर्स के साथ अकाउंट एग्रीगेटर रखता है। - सेल्फ़-होस्टेड गेटवे. LiteLLM Router आपके अपने इन्फ़्रास्ट्रक्चर में चलता है। यह deployments में ट्रैफ़िक बाँटता है (डिफ़ॉल्ट रूप से simple shuffle, या latency, इस्तेमाल या लागत के आधार पर), rate-limit एरर को exponential backoff के साथ रीट्राई करता है, और 429 या ज़्यादा फ़ेल होने की दर के बाद किसी deployment को cooldown में डाल देता है।
- मॉडल चुनने वाले राउटर. RouteLLM जैसा रिसर्च एक classifier ट्रेन करता है जो आसान प्रॉम्प्ट सस्ते मॉडल को और कठिन प्रॉम्प्ट मज़बूत मॉडल को भेजता है, ताकि क्वालिटी खोए बिना लागत घटे।
सेल्फ़-होस्टेड गेटवे बैकएंड की सूची के रूप में कॉन्फ़िगर होता है। यह LiteLLM एंट्री एक OpenAI-compatible प्रोवाइडर जोड़ती है:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
यह क्यों मायने रखता है
- भरोसेमंदी. जब कोई प्रोवाइडर 429 या 5xx एरर लौटाए, तो राउटर failover कर सकता है। देखें रेट लिमिट।
- लागत. आसान प्रॉम्प्ट सस्ते मॉडल को भेजने से बिल घट सकता है।
- एक इंटीग्रेशन. कोड एक base URL और एक key फ़ॉर्मैट से बात करता है।
सौदे असली हैं। राउटर एक नेटवर्क hop जोड़ता है। होस्टेड राउटर एक और पक्ष है जो आपके प्रॉम्प्ट देखता है, इसलिए डेटा रखने की नीति राउटर और उसके चुने प्रोवाइडर, दोनों पर निर्भर करती है। मॉडल tokenizer, reasoning के बर्ताव और पैरामीटर सपोर्ट में भी अलग होते हैं, इसलिए चुपचाप हुआ fallback जवाब बदल सकता है।
BroadNet Inference पर
BroadNet Inference राउटर नहीं है। यह https://inference.broadnet.ai/v1 पर एक छोटी मॉडल सूची वाला अकेला प्रोवाइडर है; BroadNet की शर्तें कहती हैं कि उसके मॉडल BroadNet के अपने या लीज़ पर लिए अमेरिकी हार्डवेयर पर, या अमेरिकी इन्फ़रेंस पार्टनर्स के साथ चलते हैं। प्रोवाइडर्स के बीच कोई automatic routing या fallback नहीं है। हर अनुरोध में मॉडल आप चुनते हैं, जैसे broadnet/deepseek-v4.1-flash या broadnet/glm-5.3।
क्योंकि API OpenAI-compatible है, यह किसी राउटर के पीछे एक बैकएंड के रूप में बैठ सकता है। LiteLLM proxy गाइड सेटअप दिखाती है। राउटर और फ़्लैट-रेट प्रोवाइडर की तुलना के लिए agents के लिए OpenRouter का विकल्प पढ़ें। BroadNet प्रॉम्प्ट या आउटपुट नहीं रखता; अगर आप आगे कोई होस्टेड राउटर लगाते हैं, तो उसकी डेटा रिटेंशन नीति भी जाँचें।
आम ग़लतियाँ
- 401 या 403 को किसी दूसरे प्रोवाइडर पर रीट्राई करना। ये key या पॉलिसी के एरर हैं; पहले इन्हें ठीक करें। देखें एरर और रीट्राई।
- मॉडल नामों को आपस में बदले जा सकने वाला मानना। हर fallback मॉडल को अपने प्रॉम्प्ट पर टेस्ट करें।