LangChain کا ChatOpenAI، base_url کے ذریعے کوئی بھی اینڈپوائنٹ قبول کرتا ہے۔ یہ BroadNet Inference کے ساتھ اس لیے چلتا ہے کہ وہ معیاری chat-completions ساخت استعمال کرتا ہے۔ اگر آپ API کو براہِ راست کال کرتے ہیں تو Python SDK گائیڈ دیکھیں۔
انسٹال کریں
langchain-openai کے موجودہ ورژنز (1.x) کو Python 3.11 یا اس سے نیا ورژن چاہیے۔
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
کنیکٹ کریں
نیچے کے کوڈ میں max_tokens والا تبصرہ یاد دلاتا ہے کہ ریزننگ بھی اسی حد میں گنی جاتی ہے۔
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
openai_api_base، base_url ہی کا دوسرا نام ہے۔ دونوں نہ ہوں تو LangChain OPENAI_API_BASE پڑھتا ہے، اور پھر اندر کا openai کلائنٹ OPENAI_BASE_URL پڑھتا ہے۔
جاننے کی باتیں
- ریزننگ کا متن نہیں رکھا جاتا۔ LangChain کی دستاویزات کہتی ہیں کہ
ChatOpenAIسرکاری OpenAI اسپیسفکیشن پر چلتا ہے اورreasoning_contentجیسے غیر معیاری فیلڈز نہیں رکھتا۔ آپ کو حتمی جواب ملتا ہے، اور کسی chain کو عموماً یہی چاہیے۔ - ریزننگ کے لیے جگہ چھوڑیں۔ GLM 5.3، DeepSeek V4.1 Flash اور Qwen3.8 27B پہلے ریزننگ کرتے ہیں۔ چھوٹا
max_tokensخالی جواب لوٹا سکتا ہے۔ جوابات خالی کیوں آتے ہیں۔ - اسٹریمنگ میں usage۔ جب آپ اینڈپوائنٹ
OPENAI_BASE_URLسے سیٹ کرتے ہیں تو LangChain بطورِ ڈیفالٹstream_usageبند کر دیتا ہے۔ اسٹریمنگ کے دوران ٹوکن کی گنتی چاہیے توstream_usage=Trueپاس کریں۔ BroadNet کی دستاویزات کہتی ہیں کہ مانگنے پر usage آخری چنک میں آتا ہے۔ - chat completions پر ہی رہیں۔ BroadNet،
/v1/chat/completionsفراہم کرتا ہے، Responses API نہیں۔ LangChain کی دستاویزات کہتی ہیں کہ جب آپ OpenAI کے بلٹ اِن ٹولز (web search، file search، code interpreter اور اسی طرح کے دوسرے)، گفتگو کی اسٹیٹ یاreasoningپیرامیٹر استعمال کرتے ہیں توChatOpenAIخود Responses API پر چلا جاتا ہے۔ انہیں چھوڑ دیں، اورuse_responses_api=Trueسیٹ نہ کریں۔ - ٹوکن کی حد کا نام۔ LangChain کی دستاویزات کہتی ہیں کہ
max_tokensاندرونی طور پرmax_completion_tokensمیں بدل دیا جاتا ہے۔ BroadNet کی دستاویزاتmax_tokensبیان کرتی ہیں۔ اگر کوئی حد نظر انداز ہوتی لگے تو دیکھیں کہ آپ کی ایپ اصل میں کون سی درخواست بھیجتی ہے۔
کس chain کے لیے کون سا ماڈل
| Chain | ماڈل |
|---|---|
| ٹول کالنگ اور اسٹرکچرڈ آؤٹ پٹ | broadnet/glm-5.3 |
| لمبی دستاویزات اور ایجنٹس، لامحدود پلان | broadnet/deepseek-v4.1-flash |
| عربی متن یا تصاویر | broadnet/qwen3.8-27b |
مسائل کا حل
- 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے، یا استعمال کے مطابق ادائیگی والا الاؤنس ختم ہو گیا ہے۔ اگر آپ نے
api_keyپاس نہیں کی تو LangChain نےOPENAI_API_KEYاستعمال کی، جس میں شاید کوئی OpenAI کلید ہو۔ - 404 یا “not found”۔ دیکھیں کہ
base_urlکے آخر میں/v1ہے اور کوئی چیز کال کو Responses API کی طرف نہیں بھیج رہی (اوپر دیکھیں)۔ پھر دیکھیں کہ ماڈل ID،broadnet/پری فکس سمیت، BroadNet کے ID سے بالکل ملتا ہے۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرفbroadnet/gemma-4-26b-a4bاور دو Transcribe ماڈلز کا احاطہ کرتا ہے۔ - خالی
content۔ ریزننگ نے پورا بجٹ لے لیا۔max_tokensبڑھائیں۔ جوابات خالی کیوں آتے ہیں۔ - ٹول کالز کبھی نہیں ہوتیں۔
broadnet/glm-5.3یاbroadnet/qwen3.8-27bاستعمال کریں۔ BroadNet کی دستاویزات صرف انہی دو کے لیے ٹولز درج کرتی ہیں۔ - batch یا متوازی chains میں 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 درخواستوں کی اجازت دیتی ہے۔
batch()کے لیے runnable config میںmax_concurrencyسیٹ کریں۔ ایرر کوڈز اور دوبارہ کوشش دیکھیں۔
