---
title: "LiteLLM में api_base के साथ OpenAI-compatible प्रोवाइडर"
description: "openai/ मॉडल प्रीफ़िक्स और api_base के साथ LiteLLM से BroadNet Inference कॉल करें, Python SDK में या प्रॉक्सी के config.yaml में, मेल खाती रेट लिमिट के साथ।"
url: https://broadrouter.com/hi/guides/litellm-proxy-custom-provider/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/guides/litellm-proxy-custom-provider/) (2026-11-16 को अपडेट किया गया).

# LiteLLM को BroadNet Inference पर रूट करें (SDK और प्रॉक्सी)

अपडेट किया गया 2026-11-16

LiteLLM में BroadNet मॉडल ID के आगे openai/ लगाएँ, जैसे openai/broadnet/glm-5.3, और api\_base को https://inference.broadnet.ai/v1 तथा api\_key को अपनी BroadNet key पर सेट करें। प्रॉक्सी में यही वैल्यू config.yaml के litellm\_params के नीचे रखें और मॉडल को एक छोटा model\_name दें।

LiteLLM कई LLM प्रोवाइडर के लिए एक ही इंटरफ़ेस देता है, Python SDK के रूप में भी और प्रॉक्सी सर्वर के रूप में भी। किसी OpenAI-कम्पैटिबल API तक पहुँचने के लिए इसके डॉक्स दो काम कहते हैं: मॉडल के नाम के आगे `openai/` लगाएँ, और `api_base` सेट करें। BroadNet Inference इसी रूट से चलता है।

## 1\. Python SDK

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

कोड में `max_tokens` वाली टिप्पणी याद दिलाती है कि रीज़निंग भी इसी सीमा में गिनी जाती है।

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

`openai/` रूट चुनता है; LiteLLM, BroadNet को `broadnet/glm-5.3` भेजता है। base URL में कुछ न जोड़ें; एंडपॉइंट का पाथ LiteLLM का OpenAI क्लाइंट ख़ुद जोड़ता है।

LiteLLM के डॉक्स बताते हैं कि `openai` रूट आधिकारिक OpenAI Python लाइब्रेरी इस्तेमाल करता है, जिसे हर अनुरोध पर एक API key चाहिए। ऊपर की तरह `api_key` साफ़-साफ़ पास करें, ताकि LiteLLM कभी उस `OPENAI_API_KEY` पर न लौटे जो असल में OpenAI के लिए है। रिस्पॉन्स OpenAI के ढाँचे में ही आता है, इसलिए आपके बाक़ी कोड में कोई बदलाव नहीं होता।

## प्रॉक्सी कब इस्तेमाल करें

एक Python ऐप के अंदर SDK काफ़ी है। प्रॉक्सी तब काम आता है जब कई ऐप या कई भाषाओं को वही मॉडल चाहिए: सब छोटे मॉडल नामों के साथ एक ही OpenAI-स्टाइल एंडपॉइंट को कॉल करते हैं, और प्रॉक्सी BroadNet key रखता है, रेट लिमिट लागू करता है और usage लॉग करता है। तब आपके ऐप को BroadNet के लिए कोई अलग सेटिंग नहीं चाहिए।

## 2\. प्रॉक्सी सर्वर

प्रॉक्सी वाले extras इंस्टॉल करें और `config.yaml` लिखें:

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

इसे शुरू करें और किसी भी OpenAI एंडपॉइंट की तरह कॉल करें (curl वाली कमांड दूसरे टर्मिनल में चलाएँ):

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

`os.environ/BROADNET_API_KEY_GLM` से LiteLLM वह key एनवायरनमेंट से पढ़ता है। हर एंट्री अपनी अलग BroadNet उपयोग के अनुसार भुगतान वाली key इस्तेमाल करती है, इसलिए `rpm: 30`, जो LiteLLM की वैकल्पिक प्रति-डिप्लॉयमेंट रेट लिमिट है, हर key की लिमिट से मेल खाता है। अगर कई एंट्री एक ही key शेयर करती हैं, तो वे वही एक लिमिट भी शेयर करती हैं, इसलिए संख्या को उनके बीच बाँट दें। `master_key` से प्रॉक्सी हर कॉल पर key माँगता है; LiteLLM के डॉक्स कहते हैं कि यह `sk-` से शुरू होनी चाहिए। प्रॉक्सी शुरू करने से पहले `LITELLM_MASTER_KEY` एक्सपोर्ट करें।

## कौन-सा मॉडल चुनें

| model\_name | BroadNet मॉडल | इस्तेमाल |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/hi/models/glm-5.3/) | टूल, स्ट्रक्चर्ड आउटपुट, 1M कॉन्टेक्स्ट |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/hi/models/deepseek-v4.1-flash/) | लंबा कॉन्टेक्स्ट; अनलिमिटेड प्लान वाला मॉडल |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/hi/models/qwen3.8-27b/) | इमेज, टूल, अरबी |
| (ज़रूरत हो तो जोड़ें) | [Gemma 4 VL 26B](https://broadrouter.com/hi/models/gemma-4-vl-26b/) | कम प्रति-टोकन कीमत; $5 क्रेडिट पर चलता है |

कीमतें [प्राइसिंग पेज](https://broadrouter.com/hi/pricing/) पर हैं। अगर आप किसी दूसरे गेटवे से आ रहे हैं, तो [माइग्रेशन चेकलिस्ट](https://broadrouter.com/hi/blog/openai-compatible-api-migration-checklist/) बताती है कि क्या टेस्ट करना है।

## समस्या का समाधान

-   **401.** BroadNet key ग़लत है, एक्सपायर हो गई है, या उसका उपयोग के अनुसार भुगतान वाला अलाउंस ख़त्म हो गया है। अगर 401 ख़ुद प्रॉक्सी से आ रहा है, तो इसके बजाय आपने जो LiteLLM key भेजी है उसे जाँचें।
-   **Not Found.** पक्का करें कि `api_base`, `/v1` समेत `https://inference.broadnet.ai/v1` है। base URL सही हो, तो जाँचें कि `openai/` के बाद का मॉडल ID, BroadNet के ID से हूबहू मिलता है।
-   **नए अकाउंट पर मॉडल अस्वीकार होता है.** GLM 5.3, Qwen3.8 27B और DeepSeek V4.1 Flash के लिए पहले टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़ `broadnet/gemma-4-26b-a4b` और दो Transcribe मॉडल को कवर करता है।
-   **ख़ाली content.** रीज़निंग, `max_tokens` में गिनी जाती है। इसे बढ़ाएँ या `reasoning_effort="low"` भेजें। [जवाब ख़ाली क्यों आते हैं](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)।
-   **429.** उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 अनुरोध की अनुमति देती है। LiteLLM का `rpm` पहली सीमा में मदद करता है; हर key पर एक साथ कॉल करने वाले 4 या उससे कम रखें। [एरर और रीट्राई](https://broadrouter.com/hi/guides/errors-and-retries/) देखें।
-   **प्लान key पर पैरेलल एजेंट.** एक [प्लान सेशन](https://broadrouter.com/hi/guides/unlimited-llm-api-sessions/) एक समय में एक अनुरोध चलाता है। एक ही सेशन पर प्रॉक्सी से कई एजेंट चलाने पर वे कतार में लगते हैं; हर पैरेलल एजेंट के लिए एक सेशन ख़रीदें।

## इस गाइड के शब्द

[उपयोग के अनुसार भुगतान (pay-as-you-go)](https://broadrouter.com/hi/glossary/pay-as-you-go/)

उपयोग के अनुसार भुगतान (pay-as-you-go) एक प्राइसिंग मॉडल है जिसमें आप सिर्फ़ उतना देते हैं जितना इस्तेमाल करते हैं, जिसे टोकन, अनुरोध या ऑडियो मिनट जैसी इकाइयों में मापा जाता है, बिना सब्सक्रिप्शन या न्यूनतम प्रतिबद्धता के। ज़्यादातर LLM API इसी तरह बिल बनाते हैं, प्रीपेड बैलेंस या समय-समय पर बनने वाले इनवॉइस से।

[कॉन्करेंसी (concurrency)](https://broadrouter.com/hi/glossary/concurrency/)

कॉन्करेंसी, किसी क्लाइंट के एक ही समय पर चल रहे (in-flight) अनुरोधों की संख्या है। LLM API अक्सर इसकी सीमा हर key या प्लान पर, प्रति मिनट अनुरोधों से अलग रखते हैं, क्योंकि हर खुला अनुरोध जवाब पूरा होने तक GPU क्षमता घेरे रहता है।

[base URL](https://broadrouter.com/hi/glossary/base-url/)

base URL किसी API का तय मूल पता है, जैसे https://api.example.com/v1, जिसे क्लाइंट /chat/completions जैसे हर एंडपॉइंट पाथ के आगे जोड़ता है। OpenAI-compatible SDK में base URL को API key और मॉडल ID के साथ बदलने से वही कोड किसी दूसरे प्रोवाइडर से जुड़ जाता है।

[रेट लिमिट (rate limit)](https://broadrouter.com/hi/glossary/rate-limit/)

रेट लिमिट वह सीमा है जो कोई API तय करता है कि एक क्लाइंट किसी समय-अवधि में उसका कितना इस्तेमाल कर सकता है, जैसे प्रति मिनट अनुरोध या प्रति मिनट टोकन। सीमा से ऊपर के अनुरोध ठुकरा दिए जाते हैं, आम तौर पर HTTP 429 Too Many Requests के साथ, जब तक इस्तेमाल फिर सीमा के नीचे न आ जाए।

[AI एजेंट (AI agent)](https://broadrouter.com/hi/glossary/agent/)

AI एजेंट ऐसा सिस्टम है जिसमें लैंग्वेज मॉडल किसी लक्ष्य की ओर अपने क़दम ख़ुद तय करता है: कौन-से टूल कॉल करने हैं, चुनता है, नतीजे पढ़ता है और अंतिम जवाब या किसी सीमा तक दोहराता रहता है। तय बिंदुओं पर मॉडल को कॉल करने वाली स्क्रिप्ट को आम तौर पर workflow कहते हैं।

[प्रीपेड क्रेडिट (prepaid credit)](https://broadrouter.com/hi/glossary/prepaid-credit/)

प्रीपेड क्रेडिट वह पैसा है जो इस्तेमाल से पहले API अकाउंट में डाला जाता है। हर अनुरोध की लागत बैलेंस से कटती है, और बैलेंस ख़त्म होने पर मीटर वाले अनुरोध तब तक रुक जाते हैं जब तक आप टॉप-अप न करें। इससे खर्च उतने तक सीमित रहता है जितना आपने जमा किया है।

[स्ट्रक्चर्ड आउटपुट (structured output)](https://broadrouter.com/hi/glossary/structured-output/)

स्ट्रक्चर्ड आउटपुट LLM API का एक फ़ीचर है जो मॉडल के जवाब को डेवलपर के तय फ़ॉर्मैट, आम तौर पर JSON Schema, तक सीमित करता है, ताकि कोड उसे भरोसे से पार्स कर सके। यह JSON mode से सख़्त है, जो मान्य JSON की गारंटी देता है, लेकिन किसी ख़ास ढाँचे की नहीं।

[API key](https://broadrouter.com/hi/glossary/api-key/)

API key एक गुप्त स्ट्रिंग है जो API कॉल करने वाले क्लाइंट को पहचानती और अधिकृत करती है। LLM API आम तौर पर इसे Authorization: Bearer हेडर में चाहते हैं, और जिसके पास भी यह key हो, वह ऐसे अनुरोध कर सकता है जिनका बिल key वाले अकाउंट पर बनता है।

## अक्सर पूछे जाने वाले सवाल

### LiteLLM, Not Found एरर क्यों लौटाता है?

LiteLLM के डॉक्स कहते हैं कि पक्का करें कि api\_base के अंत में /v1 हो। https://inference.broadnet.ai/v1 इस्तेमाल करें और /chat/completions न जोड़ें।

### मॉडल का नाम openai/broadnet/glm-5.3 क्यों है?

openai/ प्रीफ़िक्स LiteLLM को बताता है कि OpenAI जैसे /chat/completions एंडपॉइंट को कॉल करना है। LiteLLM प्रीफ़िक्स से रूट चुनता है और बाक़ी हिस्सा, broadnet/glm-5.3, भेजता है, जो BroadNet का मॉडल ID है।

### क्या मैं BroadNet अनलिमिटेड प्लान की key किसी साझा LiteLLM प्रॉक्सी के पीछे रख सकता हूँ?

प्लान key न शेयर की जा सकती हैं, न दोबारा बेची जा सकती हैं, और एक सेशन एक समय में एक अनुरोध चलाता है। इन्हें अपने ख़ुद के एजेंट के लिए इस्तेमाल करें। टीम के प्रॉक्सी के लिए उपयोग के अनुसार भुगतान वाली key लें।

### क्या BroadNet को कॉल करने के लिए LiteLLM को OPENAI\_API\_KEY चाहिए?

openai रूट को हर अनुरोध पर एक key चाहिए, api\_key से या OPENAI\_API\_KEY से। अपनी BroadNet key को api\_key के रूप में पास करें, या प्रॉक्सी में os.environ/BROADNET\_API\_KEY लिखें, ताकि LiteLLM असली OpenAI key, BroadNet को न भेजे।

## संबंधित गाइड

-   [BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/)
-   [BroadNet Inference के एरर कोड और रीट्राई कब करें](https://broadrouter.com/hi/guides/errors-and-retries/)
-   [रीज़निंग मॉडल ख़ाली जवाब क्यों लौटाता है](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference के साथ LangChain इस्तेमाल करें](https://broadrouter.com/hi/guides/langchain-openai-base-url/)
-   [BroadNet Inference के साथ काम करने वाले सभी टूल (अंग्रेज़ी में)](https://broadrouter.com/integrations/): SDK, कोडिंग एजेंट, चैट UI और ऑटोमेशन टूल, हर एक की सटीक सेटिंग के साथ

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**स्रोत**

-   [LiteLLM डॉक्स, OpenAI-compatible एंडपॉइंट (2026-11-14 को जाँचा गया)](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [LiteLLM डॉक्स, प्रॉक्सी config.yaml (2026-11-14 को जाँचा गया)](https://docs.litellm.ai/docs/proxy/configs)
-   [BroadNet Inference API रेफ़रंस (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-litellm-proxy-custom-provider&utm_content=sources)
