LlamaIndex, RAG और एजेंट के लिए एक Python फ़्रेमवर्क है। OpenAI के अलावा किसी भी OpenAI-compatible API के लिए यह OpenAILike क्लास देता है। BroadNet Inference https://inference.broadnet.ai/v1 पर स्टैंडर्ड chat completions देता है। BroadRouter, BroadNet की अपनी साइट है; यह गाइड llama-index-llms-openai-like 0.9.0 के LlamaIndex API रेफ़रंस के अनुसार है।
इंस्टॉल करें
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
कनेक्ट करें और टेस्ट करें
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
जवाब प्रिंट हो, तो key, URL और मॉडल ID सही हैं।
चार ज़रूरी सेटिंग
| पैरामीटर | क्या सेट करें | न सेट करें तो डिफ़ॉल्ट |
|---|---|---|
is_chat_model |
True |
False, जो पुराना completions एंडपॉइंट इस्तेमाल करता है; BroadNet chat completions देता है |
context_window |
मॉडल का असली कॉन्टेक्स्ट | 3,900 टोकन |
is_function_calling_model |
True सिर्फ़ GLM 5.3 या Qwen3.8 27B के लिए |
False |
max_tokens |
1,000 या ज़्यादा | None (भेजा नहीं जाता, इसलिए सर्वर तय करता है) |
सबसे अहम is_chat_model है। API रेफ़रंस कहता है कि यह “controls whether the model uses the chat or completion endpoint” (अनुवाद: तय करता है कि मॉडल chat एंडपॉइंट इस्तेमाल करे या completion एंडपॉइंट), और इसका डिफ़ॉल्ट false है। BroadNet के डॉक्स /v1/chat/completions सूचीबद्ध करते हैं, पुराना completions एंडपॉइंट नहीं।
पूरे ऐप में इस्तेमाल करें
from llama_index.core import Settings
Settings.llm = llm
इसके बाद query engine, chat engine और एजेंट BroadNet इस्तेमाल करते हैं। Embeddings अलग हैं: BroadNet का API रेफ़रंस कोई embeddings एंडपॉइंट सूचीबद्ध नहीं करता, इसलिए इंडेक्सिंग के लिए कोई दूसरा embedding मॉडल रखें।
कॉन्टेक्स्ट विंडो
| मॉडल | ID | context_window |
टूल |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | हाँ |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | सूचीबद्ध नहीं |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | हाँ |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | सूचीबद्ध नहीं |
1M टोकन के कॉन्टेक्स्ट से query engine हर कॉल में कहीं ज़्यादा रिट्रीव किए गए chunk भेज सकता है। यह हमेशा बेहतर नहीं होता; long context बनाम RAG देखें।
समस्या का समाधान
- 401. key ग़लत है, एक्सपायर हो गई है, या उसका अलाउंस ख़त्म हो गया है।
- 404.
api_baseके अंत में/v1होना चाहिए, औरis_chat_modelTrueहोना चाहिए। फिर मॉडल ID जाँचें। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट पर सिर्फ़broadnet/gemma-4-26b-a4bऔर दो Transcribe मॉडल चलते हैं। - ख़ाली जवाब. आउटपुट बजट रीज़निंग में ख़र्च हो गया।
max_tokensबढ़ाएँ। जवाब ख़ाली क्यों आते हैं। - एजेंट कभी टूल कॉल नहीं करता.
is_function_calling_model=Trueसेट करें औरbroadnet/glm-5.3याbroadnet/qwen3.8-27bइस्तेमाल करें। - इन्जेशन या बैच क्वेरी के दौरान 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। OpenAILike डिफ़ॉल्ट रूप से 3 बार रीट्राई करता है (
max_retries)। एरर और रीट्राई देखें।
