BroadRouter

DSPy sa BroadNet Inference: i-set ang model_type="chat"

Na-update

Gumawa ng dspy.LM na may model na "openai/broadnet/glm-5.3", model_type="chat", api_base na https://inference.broadnet.ai/v1 at ang BroadNet api_key mo, saka ipasa ito sa dspy.configure. Mahalaga ang model_type="chat": Responses API ang default ng DSPy 3.5 sa mga model na may openai/ prefix, na hindi sine-serve ng BroadNet. Sa mock-server test namin, kung wala ito, napunta ang call sa /v1/responses at nag-404; 404 din ang sagot ng live na endpoint ng BroadNet doon.

Ang DSPy ay Python framework para sa pagprograma ng mga language model gamit ang signatures at modules, at para sa pag-optimize ng mga prompt sa likod nito. Ikinokonekta mo ito sa isang model gamit ang dspy.LM. Ipinapakita ng docs ng DSPy ang mga OpenAI-compatible na server bilang openai/ model na may api_base. Para sa BroadNet Inference, na nagse-serve ng chat completions sa https://inference.broadnet.ai/v1, kailangan mo rin ang model_type="chat". Sariling site ng BroadNet ang BroadRouter; sinusundan nito ang docs ng DSPy para sa 3.5.

I-install

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

Ikonekta

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/: sinasabi nito sa DSPy na gamitin ang OpenAI client nito. Ang natitira sa string, broadnet/glm-5.3, ang model ID na ipinapadala sa BroadNet.
  • model_type="chat": pinapanatili nito ang DSPy sa /v1/chat/completions. Ayon sa LM reference ng DSPy, dahil sa default na 'auto', ang mga OpenAI model ay “use Responses” (Salin: gumagamit ng Responses).
  • max_tokens: nag-iiwan ito ng espasyo para sa reasoning. Nag-iisip muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama ang pag-iisip sa limit.

Ano ang nangyayari kapag walang model_type

Walang model_type ang halimbawa sa installation page ng DSPy para sa OpenAI-compatible na server. Sa test namin gamit ang DSPy 3.5.0, ipinadala nito ang request sa /v1/responses na may max_output_tokens, at pumalya ang call:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

Galing ang error na iyon sa mock server namin. 404 din ang isinagot ng live na endpoint ng BroadNet sa /v1/responses nang suriin namin noong 2026-11-16. Naayos ito nang idagdag ang model_type="chat".

Mga module at model

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
Gamit sa DSPy Model
Predict, ChainOfThought, mga optimizer run broadnet/deepseek-v4.1-flash (mababang presyo kada token; mga flat-price na plan)
ReAct at iba pang module na tumatawag ng tools broadnet/glm-5.3 o broadnet/qwen3.8-27b
Pagsubok sa DSPy gamit ang panimulang credit broadnet/gemma-4-26b-a4b (32,768-token na context)

Nakalista sa docs ng BroadNet ang tools at structured output para sa GLM 5.3 at Qwen3.8 27B lang. Puwede kang gumamit ng isang model para sa program at iba para sa optimizer, bawat isa ay may sariling dspy.LM. Presyo ng bawat model.

Paano namin ito sinubok

Noong 2026-11-15, nag-install kami ng dspy 3.5.0 sa malinis na virtual environment at pinatakbo ang dspy.Predict laban sa isang local na mock server na sumusunod sa hugis ng chat-completions ng BroadNet at sumasagot ng 404 sa /v1/responses. Kapag walang model_type, tinawag ng DSPy ang /v1/responses at pumalya. Kapag may model_type="chat", tinawag nito ang /v1/chat/completions gamit ang model ID na broadnet/glm-5.3 at isang Bearer key, at na-parse nito ang answer field. Nakita namin na ipinadala ng DSPy ang output limit bilang max_completion_tokens. max_tokens ang inilalarawan ng API reference ng BroadNet at hindi nito binabanggit ang max_completion_tokens, kaya hindi namin makumpirma na sinusunod ng BroadNet ang limit na ipinadala sa ganoong paraan. Sa mock server kami nag-test, hindi gamit ang BroadNet key, kaya hindi namin nasuri ang totoong output ng model.

Troubleshooting

  • 404 sa /v1/responses. Idagdag ang model_type="chat".
  • 404 sa /v1/chat/completions. Kailangang nagtatapos sa /v1 ang api_base, at ang model string ay dapat openai/ kasama ang buong BroadNet ID. Kailangan ng top-up para sa mga bayad na model; broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • “Expected to find output fields”. Walang laman o putol ang sagot, kadalasan dahil naubos ng reasoning ang output budget. Taasan ang max_tokens. Bakit walang laman ang mga sagot.
  • 429 habang nag-o-optimize. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay na tumatakbo. Babaan ang thread count ng optimizer at tingnan ang errors and retries.

Mga tanong

Bakit /v1/responses ang tinatawag ng DSPy sa BroadNet?

Ayon sa reference ng dspy.LM sa DSPy 3.5, dahil sa model_type na 'auto', ang default, Responses API ang ginagamit ng mga OpenAI model. Ganoon din ang trato sa openai/ model na may custom na api_base. Ipasa ang model_type="chat" para gumamit ng chat completions, na siyang sine-serve ng BroadNet.

Paano isulat ang BroadNet model ID sa DSPy?

Lagyan ng openai/ sa unahan ang BroadNet ID, halimbawa openai/broadnet/glm-5.3. Ginagamit ng DSPy ang openai/ para piliin ang client, at sa test namin, broadnet/glm-5.3 ang ipinadala nito bilang model.

Aling BroadNet model ang bagay sa mga optimizer ng DSPy?

Maraming call ang ginagawa ng mga optimizer, kaya mahalaga ang gastos at rate limits. Mababa ang presyo kada token ng DeepSeek V4.1 Flash, at ito ang model sa mga flat-price na plan ng BroadNet, na hindi metrado kada token. Gamitin ang GLM 5.3 o Qwen3.8 27B para sa mga module na tumatawag ng tools, gaya ng ReAct.

May epekto ba ang cache ng DSPy sa BroadNet?

Bilang default, kina-cache ng DSPy ang mga LM call (cache=True), kaya walang gastos ang pag-ulit ng parehong call. I-set ang cache=False habang sinusuri mo ang connection, kung hindi ay baka naka-cache na sagot ang tinitingnan mo.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity