Ang DSPy ay Python framework para sa pagprograma ng mga language model gamit ang signatures at modules, at para sa pag-optimize ng mga prompt sa likod nito. Ikinokonekta mo ito sa isang model gamit ang dspy.LM. Ipinapakita ng docs ng DSPy ang mga OpenAI-compatible na server bilang openai/ model na may api_base. Para sa BroadNet Inference, na nagse-serve ng chat completions sa https://inference.broadnet.ai/v1, kailangan mo rin ang model_type="chat". Sariling site ng BroadNet ang BroadRouter; sinusundan nito ang docs ng DSPy para sa 3.5.
I-install
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
Ikonekta
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/: sinasabi nito sa DSPy na gamitin ang OpenAI client nito. Ang natitira sa string,broadnet/glm-5.3, ang model ID na ipinapadala sa BroadNet.model_type="chat": pinapanatili nito ang DSPy sa/v1/chat/completions. Ayon sa LM reference ng DSPy, dahil sa default na'auto', ang mga OpenAI model ay “use Responses” (Salin: gumagamit ng Responses).max_tokens: nag-iiwan ito ng espasyo para sa reasoning. Nag-iisip muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama ang pag-iisip sa limit.
Ano ang nangyayari kapag walang model_type
Walang model_type ang halimbawa sa installation page ng DSPy para sa OpenAI-compatible na server. Sa test namin gamit ang DSPy 3.5.0, ipinadala nito ang request sa /v1/responses na may max_output_tokens, at pumalya ang call:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
Galing ang error na iyon sa mock server namin. 404 din ang isinagot ng live na endpoint ng BroadNet sa /v1/responses nang suriin namin noong 2026-11-16. Naayos ito nang idagdag ang model_type="chat".
Mga module at model
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| Gamit sa DSPy | Model |
|---|---|
Predict, ChainOfThought, mga optimizer run |
broadnet/deepseek-v4.1-flash (mababang presyo kada token; mga flat-price na plan) |
ReAct at iba pang module na tumatawag ng tools |
broadnet/glm-5.3 o broadnet/qwen3.8-27b |
| Pagsubok sa DSPy gamit ang panimulang credit | broadnet/gemma-4-26b-a4b (32,768-token na context) |
Nakalista sa docs ng BroadNet ang tools at structured output para sa GLM 5.3 at Qwen3.8 27B lang. Puwede kang gumamit ng isang model para sa program at iba para sa optimizer, bawat isa ay may sariling dspy.LM. Presyo ng bawat model.
Paano namin ito sinubok
Noong 2026-11-15, nag-install kami ng dspy 3.5.0 sa malinis na virtual environment at pinatakbo ang dspy.Predict laban sa isang local na mock server na sumusunod sa hugis ng chat-completions ng BroadNet at sumasagot ng 404 sa /v1/responses. Kapag walang model_type, tinawag ng DSPy ang /v1/responses at pumalya. Kapag may model_type="chat", tinawag nito ang /v1/chat/completions gamit ang model ID na broadnet/glm-5.3 at isang Bearer key, at na-parse nito ang answer field. Nakita namin na ipinadala ng DSPy ang output limit bilang max_completion_tokens. max_tokens ang inilalarawan ng API reference ng BroadNet at hindi nito binabanggit ang max_completion_tokens, kaya hindi namin makumpirma na sinusunod ng BroadNet ang limit na ipinadala sa ganoong paraan. Sa mock server kami nag-test, hindi gamit ang BroadNet key, kaya hindi namin nasuri ang totoong output ng model.
Troubleshooting
- 404 sa /v1/responses. Idagdag ang
model_type="chat". - 404 sa /v1/chat/completions. Kailangang nagtatapos sa
/v1angapi_base, at ang model string ay dapatopenai/kasama ang buong BroadNet ID. Kailangan ng top-up para sa mga bayad na model;broadnet/gemma-4-26b-a4bat ang dalawang Transcribe model lang ang sakop ng $5 na credit. - “Expected to find output fields”. Walang laman o putol ang sagot, kadalasan dahil naubos ng reasoning ang output budget. Taasan ang
max_tokens. Bakit walang laman ang mga sagot. - 429 habang nag-o-optimize. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay na tumatakbo. Babaan ang thread count ng optimizer at tingnan ang errors and retries.
