DSPy è un framework Python per programmare modelli linguistici con signature e moduli, e per ottimizzare i prompt che ci stanno dietro. Lo colleghi a un modello con dspy.LM. La documentazione di DSPy configura i server compatibili con OpenAI come un modello openai/ con api_base. Per BroadNet Inference, che serve chat completions su https://inference.broadnet.ai/v1, serve anche model_type="chat". BroadRouter è il sito di BroadNet; questa guida segue la documentazione di DSPy 3.5.
Installazione
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
Connessione
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/dice a DSPy di usare il suo client OpenAI. Il resto della stringa,broadnet/glm-5.3, è l’ID del modello inviato a BroadNet.model_type="chat"tiene DSPy su/v1/chat/completions. Il riferimento LM di DSPy dice che il valore predefinito,'auto', fa sì che i modelli OpenAI “use Responses” (traduzione: «usino Responses»).max_tokenslascia spazio al ragionamento. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, e il ragionamento conta nel limite.
Cosa succede senza model_type
L’esempio per un server compatibile con OpenAI nella pagina di installazione di DSPy omette model_type. Nel nostro test con DSPy 3.5.0, così la richiesta è andata a /v1/responses con max_output_tokens, e la chiamata è fallita:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
Quell’errore veniva dal nostro server mock. Anche l’endpoint reale di BroadNet ha risposto a /v1/responses con un 404 quando l’abbiamo verificato il 2026-11-16. Aggiungere model_type="chat" ha risolto.
Moduli e modelli
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| Uso in DSPy | Modello |
|---|---|
Predict, ChainOfThought, esecuzioni degli optimizer |
broadnet/deepseek-v4.1-flash (prezzo per token basso; piani flat) |
ReAct e altri moduli che chiamano strumenti |
broadnet/glm-5.3 o broadnet/qwen3.8-27b |
| Provare DSPy con il credito iniziale | broadnet/gemma-4-26b-a4b (contesto da 32.768 token) |
La documentazione di BroadNet indica strumenti e output strutturato solo per GLM 5.3 e Qwen3.8 27B. Puoi usare un modello per il programma e un altro per l’optimizer, ciascuno con il suo dspy.LM. Prezzi di tutti i modelli.
Come l’abbiamo testato
Il 2026-11-15 abbiamo installato dspy 3.5.0 in un ambiente virtuale pulito e lanciato dspy.Predict contro un server mock locale che parla il formato di chat completions di BroadNet e risponde a /v1/responses con un 404. Senza model_type, DSPy ha chiamato /v1/responses ed è fallito. Con model_type="chat" ha chiamato /v1/chat/completions con l’ID del modello broadnet/glm-5.3 e una chiave Bearer, e ha letto il campo answer. Abbiamo visto che DSPy inviava il limite di output come max_completion_tokens. Il riferimento API di BroadNet descrive max_tokens e non menziona max_completion_tokens, quindi non possiamo confermare che BroadNet applichi un limite inviato in quel modo. Abbiamo testato contro un server mock, non con una chiave BroadNet, quindi non abbiamo verificato l’output reale del modello.
Risoluzione dei problemi
- 404 su /v1/responses. Aggiungi
model_type="chat". - 404 su /v1/chat/completions.
api_basedeve finire con/v1, e la stringa del modello deve essereopenai/più l’ID BroadNet completo. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solobroadnet/gemma-4-26b-a4be i due modelli Transcribe. - “Expected to find output fields”. La risposta era vuota o troncata, spesso perché il ragionamento ha consumato il budget di output. Alza
max_tokens. Perché le risposte arrivano vuote. - 429 durante l’ottimizzazione. Una chiave a consumo consente 30 richieste al minuto e 4 in corso. Riduci il numero di thread dell’optimizer e vedi errori e retry.
