DSPy، لینگویج ماڈلز کو signatures اور modules کے ذریعے پروگرام کرنے اور ان کے پیچھے موجود پرامپٹس کو آپٹیمائز کرنے کا ایک Python فریم ورک ہے۔ آپ اسے dspy.LM کے ذریعے کسی ماڈل سے جوڑتے ہیں۔ DSPy کی دستاویزات OpenAI-compatible سرورز کو api_base کے ساتھ openai/ ماڈل کے طور پر دکھاتی ہیں۔ BroadNet Inference کے لیے، جو https://inference.broadnet.ai/v1 پر chat completions فراہم کرتا ہے، آپ کو model_type="chat" بھی چاہیے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے؛ یہ گائیڈ DSPy 3.5 کی دستاویزات کے مطابق ہے۔
انسٹال کریں
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
کنیکٹ کریں
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/DSPy کو اس کا OpenAI کلائنٹ استعمال کرنے کو کہتا ہے۔ اسٹرنگ کا باقی حصہ،broadnet/glm-5.3، وہ ماڈل ID ہے جو BroadNet کو بھیجا جاتا ہے۔model_type="chat"DSPy کو/v1/chat/completionsپر رکھتا ہے۔ DSPy کا LM ریفرنس کہتا ہے کہ ڈیفالٹ'auto'سے OpenAI ماڈلز “use Responses” (ترجمہ: ”Responses استعمال کرتے ہیں“)۔max_tokensریزننگ کے لیے جگہ چھوڑتا ہے۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب سے پہلے سوچتے ہیں، اور یہ سوچ حد میں گنی جاتی ہے۔
model_type کے بغیر کیا ہوتا ہے
DSPy کے انسٹالیشن صفحے پر OpenAI-compatible سرور والی مثال میں model_type نہیں ہے۔ DSPy 3.5.0 کے ساتھ ہمارے ٹیسٹ میں اس سے درخواست max_output_tokens کے ساتھ /v1/responses پر گئی، اور کال ناکام ہو گئی:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
یہ ایرر ہمارے موک سرور سے آیا تھا۔ 2026-11-16 کو جب ہم نے جانچا تو BroadNet کے لائیو اینڈپوائنٹ نے بھی /v1/responses کا جواب 404 سے دیا۔ model_type="chat" شامل کرنے سے مسئلہ حل ہو گیا۔
ماڈیولز اور ماڈلز
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| DSPy میں استعمال | ماڈل |
|---|---|
Predict، ChainOfThought، آپٹیمائزر رنز |
broadnet/deepseek-v4.1-flash (کم فی ٹوکن قیمت؛ مقررہ قیمت والے پلانز) |
ReAct اور ٹولز کال کرنے والے دوسرے ماڈیولز |
broadnet/glm-5.3 یا broadnet/qwen3.8-27b |
| ابتدائی کریڈٹ پر DSPy آزمانا | broadnet/gemma-4-26b-a4b (32,768 ٹوکن کا کانٹیکسٹ) |
BroadNet کی دستاویزات ٹولز اور اسٹرکچرڈ آؤٹ پٹ صرف GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتی ہیں۔ آپ پروگرام کے لیے ایک ماڈل اور آپٹیمائزر کے لیے دوسرا استعمال کر سکتے ہیں، ہر ایک کا اپنا dspy.LM۔ ہر ماڈل کی قیمتیں۔
ہم نے اسے کیسے ٹیسٹ کیا
2026-11-15 کو ہم نے ایک صاف virtual environment میں dspy 3.5.0 انسٹال کیا اور dspy.Predict کو ایک لوکل موک سرور کے خلاف چلایا، جو BroadNet کی chat-completions ساخت میں جواب دیتا ہے اور /v1/responses پر 404 لوٹاتا ہے۔ model_type کے بغیر DSPy نے /v1/responses کال کیا اور ناکام ہوا۔ model_type="chat" کے ساتھ اس نے ماڈل ID broadnet/glm-5.3 اور Bearer کلید کے ساتھ /v1/chat/completions کال کیا، اور answer فیلڈ پارس کیا۔ ہم نے دیکھا کہ DSPy نے آؤٹ پٹ کی حد max_completion_tokens کے طور پر بھیجی۔ BroadNet کا API ریفرنس max_tokens بیان کرتا ہے اور max_completion_tokens کا ذکر نہیں کرتا، اس لیے ہم تصدیق نہیں کر سکتے کہ اس طرح بھیجی گئی حد BroadNet لاگو کرتا ہے۔ ہم نے BroadNet کلید سے نہیں بلکہ موک سرور کے خلاف ٹیسٹ کیا، اس لیے حقیقی ماڈل آؤٹ پٹ نہیں جانچا۔
مسائل کا حل
- /v1/responses پر 404۔
model_type="chat"شامل کریں۔ - /v1/chat/completions پر 404۔
api_baseکو/v1پر ختم ہونا چاہیے، اور ماڈل اسٹرنگopenai/کے ساتھ پورا BroadNet ID ہونی چاہیے۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرفbroadnet/gemma-4-26b-a4bاور دونوں Transcribe ماڈلز کا احاطہ کرتا ہے۔ - “Expected to find output fields”۔ جواب خالی تھا یا بیچ میں کٹ گیا، اکثر اس لیے کہ ریزننگ نے آؤٹ پٹ بجٹ ختم کر دیا۔
max_tokensبڑھائیں۔ جوابات خالی کیوں آتے ہیں۔ - آپٹیمائزیشن کے دوران 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ آپٹیمائزر کے تھریڈز کم کریں اور ایررز اور دوبارہ کوشش دیکھیں۔
