O DSPy é um framework Python para programar modelos de linguagem com signatures e módulos, e para otimizar os prompts por trás deles. Você o conecta a um modelo com dspy.LM. A documentação do DSPy mostra servidores compatíveis com a OpenAI como um modelo openai/ com api_base. Para a BroadNet Inference, que serve chat completions em https://inference.broadnet.ai/v1, você também precisa de model_type="chat". O BroadRouter é o site da própria BroadNet; este guia segue a documentação do DSPy 3.5.
Instalação
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
Conexão
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/diz ao DSPy para usar o cliente OpenAI dele. O resto da string,broadnet/glm-5.3, é o ID do modelo enviado à BroadNet.model_type="chat"mantém o DSPy em/v1/chat/completions. A referência do LM do DSPy diz que o padrão,'auto', faz os modelos OpenAI “use Responses” (tradução: “usarem a Responses”).max_tokensdeixa espaço para o raciocínio. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B pensam antes de responder, e esse raciocínio conta para o limite.
O que acontece sem model_type
O exemplo da página de instalação do DSPy para um servidor compatível com a OpenAI omite model_type. No nosso teste com o DSPy 3.5.0, isso mandou a requisição para /v1/responses com max_output_tokens, e a chamada falhou:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
Esse erro veio do nosso servidor mock. O endpoint real da BroadNet também respondeu a /v1/responses com 404 quando conferimos, em 2026-11-16. Adicionar model_type="chat" resolveu.
Módulos e modelos
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| Uso no DSPy | Modelo |
|---|---|
Predict, ChainOfThought, execuções de otimizador |
broadnet/deepseek-v4.1-flash (preço por token baixo; planos de preço fixo) |
ReAct e outros módulos que chamam ferramentas |
broadnet/glm-5.3 ou broadnet/qwen3.8-27b |
| Testar o DSPy com o crédito inicial | broadnet/gemma-4-26b-a4b (contexto de 32.768 tokens) |
A documentação da BroadNet lista ferramentas e saída estruturada só para GLM 5.3 e Qwen3.8 27B. Você pode usar um modelo para o programa e outro para o otimizador, cada um com o seu dspy.LM. Preços de todos os modelos.
Como testamos
Em 2026-11-15 instalamos o dspy 3.5.0 em um ambiente virtual limpo e rodamos dspy.Predict contra um servidor mock local que fala o formato de chat completions da BroadNet e responde a /v1/responses com 404. Sem model_type, o DSPy chamou /v1/responses e falhou. Com model_type="chat", ele chamou /v1/chat/completions com o ID de modelo broadnet/glm-5.3 e uma chave Bearer, e leu o campo answer. Vimos que o DSPy enviou o limite de saída como max_completion_tokens. A referência da API da BroadNet descreve max_tokens e não menciona max_completion_tokens, então não podemos confirmar que a BroadNet aplica um limite enviado dessa forma. Testamos contra um servidor mock, não com uma chave da BroadNet, então não conferimos a saída real do modelo.
Solução de problemas
- 404 em /v1/responses. Adicione
model_type="chat". - 404 em /v1/chat/completions.
api_baseprecisa terminar em/v1, e a string do modelo precisa seropenai/mais o ID completo da BroadNet. Modelos pagos exigem uma recarga; o crédito de $5 cobre sóbroadnet/gemma-4-26b-a4be os dois modelos Transcribe. - “Expected to find output fields”. A resposta veio vazia ou cortada, muitas vezes porque o raciocínio gastou o orçamento de saída. Aumente
max_tokens. Por que as respostas vêm vazias. - 429 durante a otimização. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento. Reduza o número de threads do otimizador e veja erros e novas tentativas.
