LangChain का ChatOpenAI, base_url के ज़रिए कोई भी एंडपॉइंट स्वीकार करता है। BroadNet Inference के साथ यह इसलिए चलता है क्योंकि वह स्टैंडर्ड chat-completions ढाँचा इस्तेमाल करता है। अगर आप API को सीधे कॉल करते हैं, तो Python SDK गाइड देखें।
इंस्टॉल करें
langchain-openai के मौजूदा रिलीज़ (1.x) को Python 3.11 या नया वर्शन चाहिए।
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
कनेक्ट करें
नीचे के कोड में max_tokens वाली टिप्पणी याद दिलाती है कि रीज़निंग भी इसी सीमा में गिनी जाती है।
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
openai_api_base, base_url का ही दूसरा नाम है। दोनों न हों, तो LangChain OPENAI_API_BASE पढ़ता है, और फिर अंदर का openai क्लाइंट OPENAI_BASE_URL पढ़ता है।
जानने लायक बातें
- रीज़निंग टेक्स्ट नहीं रखा जाता। LangChain के डॉक्स कहते हैं कि
ChatOpenAIआधिकारिक OpenAI स्पेसिफ़िकेशन का पालन करता है औरreasoning_contentजैसे नॉन-स्टैंडर्ड फ़ील्ड नहीं रखता। आपको अंतिम जवाब मिलता है, और किसी chain को आम तौर पर यही चाहिए। - रीज़निंग के लिए जगह छोड़ें। GLM 5.3, DeepSeek V4.1 Flash और Qwen3.8 27B पहले रीज़निंग करते हैं। छोटा
max_tokensख़ाली जवाब लौटा सकता है। जवाब ख़ाली क्यों आते हैं। - स्ट्रीमिंग में usage. जब आप एंडपॉइंट
OPENAI_BASE_URLसे सेट करते हैं, तो LangChain डिफ़ॉल्ट रूप सेstream_usageबंद कर देता है। स्ट्रीमिंग के दौरान टोकन की गिनती चाहिए तोstream_usage=Trueपास करें। BroadNet के डॉक्स कहते हैं कि माँगने पर usage आख़िरी चंक में आता है। - chat completions पर ही रहें। BroadNet,
/v1/chat/completionsदेता है, Responses API नहीं। LangChain के डॉक्स कहते हैं कि जब आप OpenAI के बिल्ट-इन टूल (web search, file search, code interpreter और ऐसे ही दूसरे), बातचीत की स्टेट याreasoningपैरामीटर इस्तेमाल करते हैं, तोChatOpenAIResponses API पर चला जाता है। इन्हें छोड़ दें, औरuse_responses_api=Trueसेट न करें। - टोकन सीमा का नाम. LangChain के डॉक्स कहते हैं कि
max_tokensअंदर ही अंदरmax_completion_tokensमें बदल दिया जाता है। BroadNet के डॉक्सmax_tokensबताते हैं। अगर कोई सीमा अनदेखी होती लगे, तो देखें कि आपका ऐप असल में कौन-सा अनुरोध भेजता है।
किस chain के लिए कौन-सा मॉडल
| Chain | मॉडल |
|---|---|
| टूल कॉलिंग और स्ट्रक्चर्ड आउटपुट | broadnet/glm-5.3 |
| लंबे दस्तावेज़ और एजेंट, अनलिमिटेड प्लान | broadnet/deepseek-v4.1-flash |
| अरबी टेक्स्ट या इमेज | broadnet/qwen3.8-27b |
समस्या का समाधान
- 401. key ग़लत है, एक्सपायर हो गई है, या उसका उपयोग के अनुसार भुगतान वाला अलाउंस ख़त्म हो गया है। अगर आपने
api_keyपास नहीं की, तो LangChain नेOPENAI_API_KEYइस्तेमाल की, जिसमें शायद कोई OpenAI key हो। - 404 या “not found”. जाँचें कि
base_urlके अंत में/v1है और कोई चीज़ कॉल को Responses API पर नहीं भेज रही (ऊपर देखें)। फिर जाँचें कि मॉडल ID,broadnet/प्रीफ़िक्स समेत, BroadNet के ID से हूबहू मिलता है। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़broadnet/gemma-4-26b-a4bऔर दो Transcribe मॉडल को कवर करता है। - ख़ाली
content. रीज़निंग ने पूरा बजट ले लिया।max_tokensबढ़ाएँ। जवाब ख़ाली क्यों आते हैं। - टूल कॉल कभी नहीं होते।
broadnet/glm-5.3याbroadnet/qwen3.8-27bइस्तेमाल करें। BroadNet के डॉक्स सिर्फ़ इन्हीं दो के लिए टूल सूचीबद्ध करते हैं। - batch या पैरेलल chain में 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 अनुरोध की अनुमति देती है।
batch()के लिए runnable config मेंmax_concurrencyसेट करें। एरर कोड और रीट्राई देखें।
