LiteLLM कई LLM प्रोवाइडर के लिए एक ही इंटरफ़ेस देता है, Python SDK के रूप में भी और प्रॉक्सी सर्वर के रूप में भी। किसी OpenAI-कम्पैटिबल API तक पहुँचने के लिए इसके डॉक्स दो काम कहते हैं: मॉडल के नाम के आगे openai/ लगाएँ, और api_base सेट करें। BroadNet Inference इसी रूट से चलता है।
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
कोड में max_tokens वाली टिप्पणी याद दिलाती है कि रीज़निंग भी इसी सीमा में गिनी जाती है।
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
openai/ रूट चुनता है; LiteLLM, BroadNet को broadnet/glm-5.3 भेजता है। base URL में कुछ न जोड़ें; एंडपॉइंट का पाथ LiteLLM का OpenAI क्लाइंट ख़ुद जोड़ता है।
LiteLLM के डॉक्स बताते हैं कि openai रूट आधिकारिक OpenAI Python लाइब्रेरी इस्तेमाल करता है, जिसे हर अनुरोध पर एक API key चाहिए। ऊपर की तरह api_key साफ़-साफ़ पास करें, ताकि LiteLLM कभी उस OPENAI_API_KEY पर न लौटे जो असल में OpenAI के लिए है। रिस्पॉन्स OpenAI के ढाँचे में ही आता है, इसलिए आपके बाक़ी कोड में कोई बदलाव नहीं होता।
प्रॉक्सी कब इस्तेमाल करें
एक Python ऐप के अंदर SDK काफ़ी है। प्रॉक्सी तब काम आता है जब कई ऐप या कई भाषाओं को वही मॉडल चाहिए: सब छोटे मॉडल नामों के साथ एक ही OpenAI-स्टाइल एंडपॉइंट को कॉल करते हैं, और प्रॉक्सी BroadNet key रखता है, रेट लिमिट लागू करता है और usage लॉग करता है। तब आपके ऐप को BroadNet के लिए कोई अलग सेटिंग नहीं चाहिए।
2. प्रॉक्सी सर्वर
प्रॉक्सी वाले extras इंस्टॉल करें और config.yaml लिखें:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
इसे शुरू करें और किसी भी OpenAI एंडपॉइंट की तरह कॉल करें (curl वाली कमांड दूसरे टर्मिनल में चलाएँ):
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
os.environ/BROADNET_API_KEY_GLM से LiteLLM वह key एनवायरनमेंट से पढ़ता है। हर एंट्री अपनी अलग BroadNet उपयोग के अनुसार भुगतान वाली key इस्तेमाल करती है, इसलिए rpm: 30, जो LiteLLM की वैकल्पिक प्रति-डिप्लॉयमेंट रेट लिमिट है, हर key की लिमिट से मेल खाता है। अगर कई एंट्री एक ही key शेयर करती हैं, तो वे वही एक लिमिट भी शेयर करती हैं, इसलिए संख्या को उनके बीच बाँट दें। master_key से प्रॉक्सी हर कॉल पर key माँगता है; LiteLLM के डॉक्स कहते हैं कि यह sk- से शुरू होनी चाहिए। प्रॉक्सी शुरू करने से पहले LITELLM_MASTER_KEY एक्सपोर्ट करें।
कौन-सा मॉडल चुनें
| model_name | BroadNet मॉडल | इस्तेमाल |
|---|---|---|
glm |
GLM 5.3 | टूल, स्ट्रक्चर्ड आउटपुट, 1M कॉन्टेक्स्ट |
deepseek-flash |
DeepSeek V4.1 Flash | लंबा कॉन्टेक्स्ट; अनलिमिटेड प्लान वाला मॉडल |
qwen |
Qwen3.8 27B | इमेज, टूल, अरबी |
| (ज़रूरत हो तो जोड़ें) | Gemma 4 VL 26B | कम प्रति-टोकन कीमत; $5 क्रेडिट पर चलता है |
कीमतें प्राइसिंग पेज पर हैं। अगर आप किसी दूसरे गेटवे से आ रहे हैं, तो माइग्रेशन चेकलिस्ट बताती है कि क्या टेस्ट करना है।
समस्या का समाधान
- 401. BroadNet key ग़लत है, एक्सपायर हो गई है, या उसका उपयोग के अनुसार भुगतान वाला अलाउंस ख़त्म हो गया है। अगर 401 ख़ुद प्रॉक्सी से आ रहा है, तो इसके बजाय आपने जो LiteLLM key भेजी है उसे जाँचें।
- Not Found. पक्का करें कि
api_base,/v1समेतhttps://inference.broadnet.ai/v1है। base URL सही हो, तो जाँचें किopenai/के बाद का मॉडल ID, BroadNet के ID से हूबहू मिलता है। - नए अकाउंट पर मॉडल अस्वीकार होता है. GLM 5.3, Qwen3.8 27B और DeepSeek V4.1 Flash के लिए पहले टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़
broadnet/gemma-4-26b-a4bऔर दो Transcribe मॉडल को कवर करता है। - ख़ाली content. रीज़निंग,
max_tokensमें गिनी जाती है। इसे बढ़ाएँ याreasoning_effort="low"भेजें। जवाब ख़ाली क्यों आते हैं। - 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 अनुरोध की अनुमति देती है। LiteLLM का
rpmपहली सीमा में मदद करता है; हर key पर एक साथ कॉल करने वाले 4 या उससे कम रखें। एरर और रीट्राई देखें। - प्लान key पर पैरेलल एजेंट. एक प्लान सेशन एक समय में एक अनुरोध चलाता है। एक ही सेशन पर प्रॉक्सी से कई एजेंट चलाने पर वे कतार में लगते हैं; हर पैरेलल एजेंट के लिए एक सेशन ख़रीदें।
