BroadRouter

DSPy میں BroadNet Inference (model_type="chat" سیٹ کریں)

اپ ڈیٹ

dspy.LM کو ماڈل "openai/broadnet/glm-5.3"، model_type="chat"، api_base https://inference.broadnet.ai/v1 اور اپنی BroadNet api_key کے ساتھ بنائیں، پھر dspy.configure کو دیں۔ model_type="chat" اہم ہے۔ DSPy 3.5، openai/ والے ماڈلز کو ڈیفالٹ طور پر Responses API پر بھیجتا ہے، جو BroadNet فراہم نہیں کرتا۔ ہمارے mock سرور والے ٹیسٹ میں اس کے بغیر کال /v1/responses پر گئی اور 404 ملا، اور BroadNet کا لائیو اینڈپوائنٹ بھی اس راستے کا جواب 404 سے دیتا ہے۔

DSPy، لینگویج ماڈلز کو signatures اور modules کے ذریعے پروگرام کرنے اور ان کے پیچھے موجود پرامپٹس کو آپٹیمائز کرنے کا ایک Python فریم ورک ہے۔ آپ اسے dspy.LM کے ذریعے کسی ماڈل سے جوڑتے ہیں۔ DSPy کی دستاویزات OpenAI-compatible سرورز کو api_base کے ساتھ openai/ ماڈل کے طور پر دکھاتی ہیں۔ BroadNet Inference کے لیے، جو https://inference.broadnet.ai/v1 پر chat completions فراہم کرتا ہے، آپ کو model_type="chat" بھی چاہیے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے؛ یہ گائیڈ DSPy 3.5 کی دستاویزات کے مطابق ہے۔

انسٹال کریں

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

کنیکٹ کریں

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ DSPy کو اس کا OpenAI کلائنٹ استعمال کرنے کو کہتا ہے۔ اسٹرنگ کا باقی حصہ، broadnet/glm-5.3، وہ ماڈل ID ہے جو BroadNet کو بھیجا جاتا ہے۔
  • model_type="chat" DSPy کو /v1/chat/completions پر رکھتا ہے۔ DSPy کا LM ریفرنس کہتا ہے کہ ڈیفالٹ 'auto' سے OpenAI ماڈلز “use Responses” (ترجمہ: ”Responses استعمال کرتے ہیں“)۔
  • max_tokens ریزننگ کے لیے جگہ چھوڑتا ہے۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب سے پہلے سوچتے ہیں، اور یہ سوچ حد میں گنی جاتی ہے۔

model_type کے بغیر کیا ہوتا ہے

DSPy کے انسٹالیشن صفحے پر OpenAI-compatible سرور والی مثال میں model_type نہیں ہے۔ DSPy 3.5.0 کے ساتھ ہمارے ٹیسٹ میں اس سے درخواست max_output_tokens کے ساتھ /v1/responses پر گئی، اور کال ناکام ہو گئی:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

یہ ایرر ہمارے موک سرور سے آیا تھا۔ 2026-11-16 کو جب ہم نے جانچا تو BroadNet کے لائیو اینڈپوائنٹ نے بھی /v1/responses کا جواب 404 سے دیا۔ model_type="chat" شامل کرنے سے مسئلہ حل ہو گیا۔

ماڈیولز اور ماڈلز

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
DSPy میں استعمال ماڈل
Predict، ChainOfThought، آپٹیمائزر رنز broadnet/deepseek-v4.1-flash (کم فی ٹوکن قیمت؛ مقررہ قیمت والے پلانز)
ReAct اور ٹولز کال کرنے والے دوسرے ماڈیولز broadnet/glm-5.3 یا broadnet/qwen3.8-27b
ابتدائی کریڈٹ پر DSPy آزمانا broadnet/gemma-4-26b-a4b (32,768 ٹوکن کا کانٹیکسٹ)

BroadNet کی دستاویزات ٹولز اور اسٹرکچرڈ آؤٹ پٹ صرف GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتی ہیں۔ آپ پروگرام کے لیے ایک ماڈل اور آپٹیمائزر کے لیے دوسرا استعمال کر سکتے ہیں، ہر ایک کا اپنا dspy.LM۔ ہر ماڈل کی قیمتیں۔

ہم نے اسے کیسے ٹیسٹ کیا

2026-11-15 کو ہم نے ایک صاف virtual environment میں dspy 3.5.0 انسٹال کیا اور dspy.Predict کو ایک لوکل موک سرور کے خلاف چلایا، جو BroadNet کی chat-completions ساخت میں جواب دیتا ہے اور /v1/responses پر 404 لوٹاتا ہے۔ model_type کے بغیر DSPy نے /v1/responses کال کیا اور ناکام ہوا۔ model_type="chat" کے ساتھ اس نے ماڈل ID broadnet/glm-5.3 اور Bearer کلید کے ساتھ /v1/chat/completions کال کیا، اور answer فیلڈ پارس کیا۔ ہم نے دیکھا کہ DSPy نے آؤٹ پٹ کی حد max_completion_tokens کے طور پر بھیجی۔ BroadNet کا API ریفرنس max_tokens بیان کرتا ہے اور max_completion_tokens کا ذکر نہیں کرتا، اس لیے ہم تصدیق نہیں کر سکتے کہ اس طرح بھیجی گئی حد BroadNet لاگو کرتا ہے۔ ہم نے BroadNet کلید سے نہیں بلکہ موک سرور کے خلاف ٹیسٹ کیا، اس لیے حقیقی ماڈل آؤٹ پٹ نہیں جانچا۔

مسائل کا حل

  • /v1/responses پر 404۔ model_type="chat" شامل کریں۔
  • /v1/chat/completions پر 404۔ api_base کو /v1 پر ختم ہونا چاہیے، اور ماڈل اسٹرنگ openai/ کے ساتھ پورا BroadNet ID ہونی چاہیے۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرف broadnet/gemma-4-26b-a4b اور دونوں Transcribe ماڈلز کا احاطہ کرتا ہے۔
  • “Expected to find output fields”۔ جواب خالی تھا یا بیچ میں کٹ گیا، اکثر اس لیے کہ ریزننگ نے آؤٹ پٹ بجٹ ختم کر دیا۔ max_tokens بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔
  • آپٹیمائزیشن کے دوران 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ آپٹیمائزر کے تھریڈز کم کریں اور ایررز اور دوبارہ کوشش دیکھیں۔

عام سوالات

DSPy، BroadNet پر /v1/responses کیوں کال کرتا ہے؟

DSPy 3.5 کا dspy.LM ریفرنس کہتا ہے کہ ڈیفالٹ model_type 'auto' سے OpenAI ماڈلز Responses API استعمال کرتے ہیں۔ کسٹم api_base والے openai/ ماڈل کے ساتھ بھی یہی ہوتا ہے۔ chat completions استعمال کرنے کے لیے model_type="chat" دیں؛ BroadNet یہی فراہم کرتا ہے۔

DSPy میں BroadNet کا ماڈل ID کیسے لکھیں؟

BroadNet ID کے آگے openai/ لگائیں، مثلاً openai/broadnet/glm-5.3۔ DSPy کلائنٹ چننے کے لیے openai/ استعمال کرتا ہے اور ہمارے ٹیسٹ میں اس نے ماڈل کے طور پر broadnet/glm-5.3 بھیجا۔

DSPy آپٹیمائزرز کے لیے BroadNet کا کون سا ماڈل موزوں ہے؟

آپٹیمائزرز بہت سی کالز کرتے ہیں، اس لیے لاگت اور ریٹ لمٹس اہم ہیں۔ DeepSeek V4.1 Flash کی فی ٹوکن قیمت کم ہے اور یہی BroadNet کے مقررہ قیمت والے پلانز کا ماڈل ہے، جو فی ٹوکن میٹر نہیں ہوتے۔ ٹولز کال کرنے والے ماڈیولز، جیسے ReAct، کے لیے GLM 5.3 یا Qwen3.8 27B استعمال کریں۔

کیا BroadNet کے ساتھ DSPy کا کیش اہم ہے؟

DSPy ڈیفالٹ طور پر LM کالز کیش کرتا ہے (cache=True)، اس لیے وہی کال دہرانے پر کچھ خرچ نہیں ہوتا۔ کنکشن جانچتے وقت cache=False سیٹ کریں، ورنہ ممکن ہے آپ کیش شدہ جواب دیکھ رہے ہوں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں