BroadRouter

DSPy में BroadNet Inference (model_type="chat" सेट करें)

अपडेट किया गया

dspy.LM को मॉडल "openai/broadnet/glm-5.3", model_type="chat", api_base https://inference.broadnet.ai/v1 और अपनी BroadNet api_key के साथ बनाएँ, फिर dspy.configure को दें। model_type="chat" ज़रूरी है। DSPy 3.5 openai/ वाले मॉडल को डिफ़ॉल्ट रूप से Responses API पर भेजता है, जिसे BroadNet सर्व नहीं करता। हमारे मॉक-सर्वर टेस्ट में इसके बिना कॉल /v1/responses पर गई और 404 मिला; BroadNet का लाइव एंडपॉइंट भी उस पाथ पर 404 देता है।

DSPy, लैंग्वेज मॉडल को signatures और modules से प्रोग्राम करने और उनके पीछे के प्रॉम्प्ट ऑप्टिमाइज़ करने का एक Python फ़्रेमवर्क है। आप इसे dspy.LM से किसी मॉडल से जोड़ते हैं। DSPy के डॉक्स OpenAI-कम्पैटिबल सर्वर को api_base के साथ openai/ मॉडल के रूप में दिखाते हैं। BroadNet Inference के लिए, जो https://inference.broadnet.ai/v1 पर chat completions सर्व करता है, आपको model_type="chat" भी चाहिए। BroadRouter, BroadNet की अपनी साइट है; यह गाइड DSPy 3.5 के डॉक्स के अनुसार है।

इंस्टॉल करें

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

कनेक्ट करें

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ DSPy को उसका OpenAI क्लाइंट इस्तेमाल करने को कहता है। स्ट्रिंग का बाक़ी हिस्सा, broadnet/glm-5.3, वह मॉडल ID है जो BroadNet को भेजा जाता है।
  • model_type="chat" DSPy को /v1/chat/completions पर रखता है। DSPy का LM रेफ़रंस कहता है कि डिफ़ॉल्ट 'auto' से OpenAI मॉडल “use Responses” (अनुवाद: “Responses इस्तेमाल करते हैं”)।
  • max_tokens रीज़निंग के लिए जगह छोड़ता है। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब से पहले सोचते हैं, और यह सोच सीमा में गिनी जाती है।

model_type के बिना क्या होता है

DSPy के इंस्टॉलेशन पेज पर OpenAI-कम्पैटिबल सर्वर वाले उदाहरण में model_type नहीं है। DSPy 3.5.0 के साथ हमारे टेस्ट में, इससे अनुरोध max_output_tokens के साथ /v1/responses पर गया, और कॉल फ़ेल हो गई:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

यह एरर हमारे मॉक सर्वर से आया था। 2026-11-16 को जाँचने पर BroadNet के लाइव एंडपॉइंट ने भी /v1/responses पर 404 दिया। model_type="chat" जोड़ने से समस्या ठीक हो गई।

मॉड्यूल और मॉडल

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
DSPy में इस्तेमाल मॉडल
Predict, ChainOfThought, ऑप्टिमाइज़र रन broadnet/deepseek-v4.1-flash (कम प्रति-टोकन कीमत; फ़्लैट-कीमत प्लान)
ReAct और टूल कॉल करने वाले दूसरे मॉड्यूल broadnet/glm-5.3 या broadnet/qwen3.8-27b
शुरुआती क्रेडिट पर DSPy आज़माना broadnet/gemma-4-26b-a4b (32,768 टोकन का कॉन्टेक्स्ट)

BroadNet के डॉक्स टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करते हैं। आप प्रोग्राम के लिए एक मॉडल और ऑप्टिमाइज़र के लिए दूसरा इस्तेमाल कर सकते हैं, हर एक का अपना dspy.LM। हर मॉडल की कीमत।

हमने इसे कैसे टेस्ट किया

2026-11-15 को हमने एक साफ़ virtual environment में dspy 3.5.0 इंस्टॉल किया और dspy.Predict को एक लोकल मॉक सर्वर पर चलाया, जो BroadNet के chat-completions ढाँचे में जवाब देता है और /v1/responses पर 404 लौटाता है। model_type के बिना DSPy ने /v1/responses कॉल किया और फ़ेल हुआ। model_type="chat" के साथ उसने मॉडल ID broadnet/glm-5.3 और Bearer key के साथ /v1/chat/completions कॉल किया, और answer फ़ील्ड पार्स किया। हमने देखा कि DSPy ने आउटपुट सीमा max_completion_tokens के रूप में भेजी। BroadNet का API रेफ़रंस max_tokens बताता है और max_completion_tokens का ज़िक्र नहीं करता, इसलिए हम पक्का नहीं कह सकते कि इस तरह भेजी गई सीमा BroadNet लागू करता है। हमने मॉक सर्वर पर टेस्ट किया, BroadNet key से नहीं, इसलिए असली मॉडल आउटपुट नहीं जाँचा।

समस्या का समाधान

  • /v1/responses पर 404. model_type="chat" जोड़ें।
  • /v1/chat/completions पर 404. api_base को /v1 पर ख़त्म होना चाहिए, और मॉडल स्ट्रिंग openai/ के साथ पूरा BroadNet ID होनी चाहिए। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़ broadnet/gemma-4-26b-a4b और दोनों Transcribe मॉडल को कवर करता है।
  • “Expected to find output fields”. जवाब ख़ाली था या बीच में कट गया, अक्सर इसलिए कि रीज़निंग ने आउटपुट बजट ख़त्म कर दिया। max_tokens बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • ऑप्टिमाइज़ेशन के दौरान 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। ऑप्टिमाइज़र के थ्रेड घटाएँ और एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

DSPy, BroadNet पर /v1/responses क्यों कॉल करता है?

DSPy 3.5 का dspy.LM रेफ़रंस कहता है कि डिफ़ॉल्ट model_type 'auto' से OpenAI मॉडल Responses API इस्तेमाल करते हैं। कस्टम api_base वाले openai/ मॉडल के साथ भी यही होता है। chat completions इस्तेमाल करने के लिए model_type="chat" दें; BroadNet यही सर्व करता है।

DSPy में BroadNet का मॉडल ID कैसे लिखें?

BroadNet ID के आगे openai/ लगाएँ, जैसे openai/broadnet/glm-5.3। DSPy क्लाइंट चुनने के लिए openai/ इस्तेमाल करता है और हमारे टेस्ट में उसने मॉडल के रूप में broadnet/glm-5.3 भेजा।

DSPy ऑप्टिमाइज़र के लिए BroadNet का कौन-सा मॉडल ठीक है?

ऑप्टिमाइज़र बहुत सारी कॉल करते हैं, इसलिए लागत और रेट लिमिट मायने रखती हैं। DeepSeek V4.1 Flash की प्रति-टोकन कीमत कम है और यही BroadNet के फ़्लैट-कीमत प्लान का मॉडल है, जो प्रति टोकन मीटर नहीं होते। टूल कॉल करने वाले मॉड्यूल, जैसे ReAct, के लिए GLM 5.3 या Qwen3.8 27B इस्तेमाल करें।

क्या BroadNet के साथ DSPy का कैश मायने रखता है?

DSPy डिफ़ॉल्ट रूप से LM कॉल कैश करता है (cache=True), इसलिए वही कॉल दोहराने पर कुछ ख़र्च नहीं होता। कनेक्शन जाँचते समय cache=False सेट करें, वरना हो सकता है आप कैश किया हुआ जवाब देख रहे हों।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें