BroadRouter

LLM राउटर (LLM router)

अपडेट किया गया

LLM राउटर एक सॉफ़्टवेयर या सर्विस है जो ऐप और एक या ज़्यादा लैंग्वेज मॉडल API के बीच बैठती है और हर अनुरोध के लिए तय करती है कि उसे कौन-सा मॉडल या प्रोवाइडर संभालेगा, लागत, latency, उपलब्धता या टास्क के प्रकार जैसे नियमों के आधार पर।

अन्य नाम: LLM राउटर, AI गेटवे, मॉडल राउटर, llm router kya hai, ai gateway kya hai, LLM router, AI gateway, LLM gateway, model router, LLM aggregator

एक मॉडल से बात करने वाले ऐप को राउटर की ज़रूरत नहीं। राउटर तब आते हैं जब कोई टीम कई मॉडल या प्रोवाइडर इस्तेमाल करती है और उनके बीच चुनने के लिए एक जगह चाहती है।

यह कैसे काम करता है

ऐप राउटर को OpenAI-स्टाइल अनुरोध भेजता है। राउटर अपने नियम लगाता है, अनुरोध किसी बैकएंड को आगे भेजता है, और जवाब उसी फ़ॉर्मैट में लौटाता है। तीन आम प्रकार हैं:

  • होस्टेड एग्रीगेटर. उदाहरण के लिए OpenRouter https://openrouter.ai/api/v1 पर “hundreds of AI models through a single API endpoint” (अनुवाद: एक ही API endpoint से सैकड़ों AI मॉडल) देता है, automatic fallbacks के साथ। आपके पास एक key और एक बिल होता है; प्रोवाइडर्स के साथ अकाउंट एग्रीगेटर रखता है।
  • सेल्फ़-होस्टेड गेटवे. LiteLLM Router आपके अपने इन्फ़्रास्ट्रक्चर में चलता है। यह deployments में ट्रैफ़िक बाँटता है (डिफ़ॉल्ट रूप से simple shuffle, या latency, इस्तेमाल या लागत के आधार पर), rate-limit एरर को exponential backoff के साथ रीट्राई करता है, और 429 या ज़्यादा फ़ेल होने की दर के बाद किसी deployment को cooldown में डाल देता है।
  • मॉडल चुनने वाले राउटर. RouteLLM जैसा रिसर्च एक classifier ट्रेन करता है जो आसान प्रॉम्प्ट सस्ते मॉडल को और कठिन प्रॉम्प्ट मज़बूत मॉडल को भेजता है, ताकि क्वालिटी खोए बिना लागत घटे।

सेल्फ़-होस्टेड गेटवे बैकएंड की सूची के रूप में कॉन्फ़िगर होता है। यह LiteLLM एंट्री एक OpenAI-compatible प्रोवाइडर जोड़ती है:

model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY

यह क्यों मायने रखता है

  • भरोसेमंदी. जब कोई प्रोवाइडर 429 या 5xx एरर लौटाए, तो राउटर failover कर सकता है। देखें रेट लिमिट।
  • लागत. आसान प्रॉम्प्ट सस्ते मॉडल को भेजने से बिल घट सकता है।
  • एक इंटीग्रेशन. कोड एक base URL और एक key फ़ॉर्मैट से बात करता है।

सौदे असली हैं। राउटर एक नेटवर्क hop जोड़ता है। होस्टेड राउटर एक और पक्ष है जो आपके प्रॉम्प्ट देखता है, इसलिए डेटा रखने की नीति राउटर और उसके चुने प्रोवाइडर, दोनों पर निर्भर करती है। मॉडल tokenizer, reasoning के बर्ताव और पैरामीटर सपोर्ट में भी अलग होते हैं, इसलिए चुपचाप हुआ fallback जवाब बदल सकता है।

BroadNet Inference पर

BroadNet Inference राउटर नहीं है। यह https://inference.broadnet.ai/v1 पर एक छोटी मॉडल सूची वाला अकेला प्रोवाइडर है; BroadNet की शर्तें कहती हैं कि उसके मॉडल BroadNet के अपने या लीज़ पर लिए अमेरिकी हार्डवेयर पर, या अमेरिकी इन्फ़रेंस पार्टनर्स के साथ चलते हैं। प्रोवाइडर्स के बीच कोई automatic routing या fallback नहीं है। हर अनुरोध में मॉडल आप चुनते हैं, जैसे broadnet/deepseek-v4.1-flash या broadnet/glm-5.3।

क्योंकि API OpenAI-compatible है, यह किसी राउटर के पीछे एक बैकएंड के रूप में बैठ सकता है। LiteLLM proxy गाइड सेटअप दिखाती है। राउटर और फ़्लैट-रेट प्रोवाइडर की तुलना के लिए agents के लिए OpenRouter का विकल्प पढ़ें। BroadNet प्रॉम्प्ट या आउटपुट नहीं रखता; अगर आप आगे कोई होस्टेड राउटर लगाते हैं, तो उसकी डेटा रिटेंशन नीति भी जाँचें।

आम ग़लतियाँ

  • 401 या 403 को किसी दूसरे प्रोवाइडर पर रीट्राई करना। ये key या पॉलिसी के एरर हैं; पहले इन्हें ठीक करें। देखें एरर और रीट्राई।
  • मॉडल नामों को आपस में बदले जा सकने वाला मानना। हर fallback मॉडल को अपने प्रॉम्प्ट पर टेस्ट करें।

अक्सर पूछे जाने वाले सवाल

क्या LLM राउटर और load balancer एक ही चीज़ हैं?

load balancer राउटर का एक हिस्सा है। राउटर किसी टास्क के लिए अलग मॉडल भी चुन सकता है, एरर के बाद दूसरे प्रोवाइडर पर fallback कर सकता है, और API फ़ॉर्मैट के बीच अनुवाद कर सकता है। सादा load balancer सिर्फ़ एक जैसे सर्वरों में ट्रैफ़िक बाँटता है।

क्या राउटर latency बढ़ाता है?

आम तौर पर थोड़ी, क्योंकि अनुरोध एक अतिरिक्त नेटवर्क hop लेता है और राउटर उसे जाँच सकता है। Fallback से और बढ़ सकती है, क्योंकि रीट्राई से पहले एक फ़ेल कोशिश चलती है। राउटर के साथ और उसके बिना पहले टोकन तक का समय मापें।

क्या BroadNet Inference एक LLM राउटर है?

नहीं। इस साइट के नाम के बावजूद, BroadNet Inference एक अकेला प्रोवाइडर है; BroadNet की शर्तें कहती हैं कि उसके मॉडल BroadNet के अपने या लीज़ पर लिए अमेरिकी हार्डवेयर पर, या अमेरिकी इन्फ़रेंस पार्टनर्स के साथ चलते हैं। हर अनुरोध में मॉडल आप चुनते हैं। आप इसे किसी राउटर के पीछे एक प्रोवाइडर के रूप में रख सकते हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें