DSPy, लैंग्वेज मॉडल को signatures और modules से प्रोग्राम करने और उनके पीछे के प्रॉम्प्ट ऑप्टिमाइज़ करने का एक Python फ़्रेमवर्क है। आप इसे dspy.LM से किसी मॉडल से जोड़ते हैं। DSPy के डॉक्स OpenAI-कम्पैटिबल सर्वर को api_base के साथ openai/ मॉडल के रूप में दिखाते हैं। BroadNet Inference के लिए, जो https://inference.broadnet.ai/v1 पर chat completions सर्व करता है, आपको model_type="chat" भी चाहिए। BroadRouter, BroadNet की अपनी साइट है; यह गाइड DSPy 3.5 के डॉक्स के अनुसार है।
इंस्टॉल करें
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
कनेक्ट करें
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/DSPy को उसका OpenAI क्लाइंट इस्तेमाल करने को कहता है। स्ट्रिंग का बाक़ी हिस्सा,broadnet/glm-5.3, वह मॉडल ID है जो BroadNet को भेजा जाता है।model_type="chat"DSPy को/v1/chat/completionsपर रखता है। DSPy का LM रेफ़रंस कहता है कि डिफ़ॉल्ट'auto'से OpenAI मॉडल “use Responses” (अनुवाद: “Responses इस्तेमाल करते हैं”)।max_tokensरीज़निंग के लिए जगह छोड़ता है। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब से पहले सोचते हैं, और यह सोच सीमा में गिनी जाती है।
model_type के बिना क्या होता है
DSPy के इंस्टॉलेशन पेज पर OpenAI-कम्पैटिबल सर्वर वाले उदाहरण में model_type नहीं है। DSPy 3.5.0 के साथ हमारे टेस्ट में, इससे अनुरोध max_output_tokens के साथ /v1/responses पर गया, और कॉल फ़ेल हो गई:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
यह एरर हमारे मॉक सर्वर से आया था। 2026-11-16 को जाँचने पर BroadNet के लाइव एंडपॉइंट ने भी /v1/responses पर 404 दिया। model_type="chat" जोड़ने से समस्या ठीक हो गई।
मॉड्यूल और मॉडल
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| DSPy में इस्तेमाल | मॉडल |
|---|---|
Predict, ChainOfThought, ऑप्टिमाइज़र रन |
broadnet/deepseek-v4.1-flash (कम प्रति-टोकन कीमत; फ़्लैट-कीमत प्लान) |
ReAct और टूल कॉल करने वाले दूसरे मॉड्यूल |
broadnet/glm-5.3 या broadnet/qwen3.8-27b |
| शुरुआती क्रेडिट पर DSPy आज़माना | broadnet/gemma-4-26b-a4b (32,768 टोकन का कॉन्टेक्स्ट) |
BroadNet के डॉक्स टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करते हैं। आप प्रोग्राम के लिए एक मॉडल और ऑप्टिमाइज़र के लिए दूसरा इस्तेमाल कर सकते हैं, हर एक का अपना dspy.LM। हर मॉडल की कीमत।
हमने इसे कैसे टेस्ट किया
2026-11-15 को हमने एक साफ़ virtual environment में dspy 3.5.0 इंस्टॉल किया और dspy.Predict को एक लोकल मॉक सर्वर पर चलाया, जो BroadNet के chat-completions ढाँचे में जवाब देता है और /v1/responses पर 404 लौटाता है। model_type के बिना DSPy ने /v1/responses कॉल किया और फ़ेल हुआ। model_type="chat" के साथ उसने मॉडल ID broadnet/glm-5.3 और Bearer key के साथ /v1/chat/completions कॉल किया, और answer फ़ील्ड पार्स किया। हमने देखा कि DSPy ने आउटपुट सीमा max_completion_tokens के रूप में भेजी। BroadNet का API रेफ़रंस max_tokens बताता है और max_completion_tokens का ज़िक्र नहीं करता, इसलिए हम पक्का नहीं कह सकते कि इस तरह भेजी गई सीमा BroadNet लागू करता है। हमने मॉक सर्वर पर टेस्ट किया, BroadNet key से नहीं, इसलिए असली मॉडल आउटपुट नहीं जाँचा।
समस्या का समाधान
- /v1/responses पर 404.
model_type="chat"जोड़ें। - /v1/chat/completions पर 404.
api_baseको/v1पर ख़त्म होना चाहिए, और मॉडल स्ट्रिंगopenai/के साथ पूरा BroadNet ID होनी चाहिए। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़broadnet/gemma-4-26b-a4bऔर दोनों Transcribe मॉडल को कवर करता है। - “Expected to find output fields”. जवाब ख़ाली था या बीच में कट गया, अक्सर इसलिए कि रीज़निंग ने आउटपुट बजट ख़त्म कर दिया।
max_tokensबढ़ाएँ। जवाब ख़ाली क्यों आते हैं। - ऑप्टिमाइज़ेशन के दौरान 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। ऑप्टिमाइज़र के थ्रेड घटाएँ और एरर और रीट्राई देखें।
