BroadRouter

Usare DSPy con BroadNet Inference (imposta model_type="chat")

Aggiornato

Crea dspy.LM con il modello "openai/broadnet/glm-5.3", model_type="chat", api_base su https://inference.broadnet.ai/v1 e la tua api_key BroadNet, poi passalo a dspy.configure. model_type="chat" è decisivo: DSPy 3.5 manda per default i modelli con prefisso openai/ alla Responses API, che BroadNet non serve. Nel nostro test su un server mock, senza quel parametro la chiamata è andata a /v1/responses e ha ricevuto un 404, e anche l’endpoint reale di BroadNet risponde a quel percorso con un 404.

DSPy è un framework Python per programmare modelli linguistici con signature e moduli, e per ottimizzare i prompt che ci stanno dietro. Lo colleghi a un modello con dspy.LM. La documentazione di DSPy configura i server compatibili con OpenAI come un modello openai/ con api_base. Per BroadNet Inference, che serve chat completions su https://inference.broadnet.ai/v1, serve anche model_type="chat". BroadRouter è il sito di BroadNet; questa guida segue la documentazione di DSPy 3.5.

Installazione

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

Connessione

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ dice a DSPy di usare il suo client OpenAI. Il resto della stringa, broadnet/glm-5.3, è l’ID del modello inviato a BroadNet.
  • model_type="chat" tiene DSPy su /v1/chat/completions. Il riferimento LM di DSPy dice che il valore predefinito, 'auto', fa sì che i modelli OpenAI “use Responses” (traduzione: «usino Responses»).
  • max_tokens lascia spazio al ragionamento. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, e il ragionamento conta nel limite.

Cosa succede senza model_type

L’esempio per un server compatibile con OpenAI nella pagina di installazione di DSPy omette model_type. Nel nostro test con DSPy 3.5.0, così la richiesta è andata a /v1/responses con max_output_tokens, e la chiamata è fallita:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

Quell’errore veniva dal nostro server mock. Anche l’endpoint reale di BroadNet ha risposto a /v1/responses con un 404 quando l’abbiamo verificato il 2026-11-16. Aggiungere model_type="chat" ha risolto.

Moduli e modelli

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
Uso in DSPy Modello
Predict, ChainOfThought, esecuzioni degli optimizer broadnet/deepseek-v4.1-flash (prezzo per token basso; piani flat)
ReAct e altri moduli che chiamano strumenti broadnet/glm-5.3 o broadnet/qwen3.8-27b
Provare DSPy con il credito iniziale broadnet/gemma-4-26b-a4b (contesto da 32.768 token)

La documentazione di BroadNet indica strumenti e output strutturato solo per GLM 5.3 e Qwen3.8 27B. Puoi usare un modello per il programma e un altro per l’optimizer, ciascuno con il suo dspy.LM. Prezzi di tutti i modelli.

Come l’abbiamo testato

Il 2026-11-15 abbiamo installato dspy 3.5.0 in un ambiente virtuale pulito e lanciato dspy.Predict contro un server mock locale che parla il formato di chat completions di BroadNet e risponde a /v1/responses con un 404. Senza model_type, DSPy ha chiamato /v1/responses ed è fallito. Con model_type="chat" ha chiamato /v1/chat/completions con l’ID del modello broadnet/glm-5.3 e una chiave Bearer, e ha letto il campo answer. Abbiamo visto che DSPy inviava il limite di output come max_completion_tokens. Il riferimento API di BroadNet descrive max_tokens e non menziona max_completion_tokens, quindi non possiamo confermare che BroadNet applichi un limite inviato in quel modo. Abbiamo testato contro un server mock, non con una chiave BroadNet, quindi non abbiamo verificato l’output reale del modello.

Risoluzione dei problemi

  • 404 su /v1/responses. Aggiungi model_type="chat".
  • 404 su /v1/chat/completions. api_base deve finire con /v1, e la stringa del modello deve essere openai/ più l’ID BroadNet completo. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo broadnet/gemma-4-26b-a4b e i due modelli Transcribe.
  • “Expected to find output fields”. La risposta era vuota o troncata, spesso perché il ragionamento ha consumato il budget di output. Alza max_tokens. Perché le risposte arrivano vuote.
  • 429 durante l’ottimizzazione. Una chiave a consumo consente 30 richieste al minuto e 4 in corso. Riduci il numero di thread dell’optimizer e vedi errori e retry.

Domande frequenti

Perché DSPy chiama /v1/responses su BroadNet?

Secondo il riferimento di dspy.LM di DSPy 3.5, model_type "auto", il valore predefinito, fa usare ai modelli OpenAI la Responses API. Un modello openai/ con un api_base personalizzato viene trattato allo stesso modo. Passa model_type="chat" per usare chat completions, che è ciò che BroadNet serve.

Come si scrive l’ID del modello BroadNet in DSPy?

Metti openai/ davanti all’ID BroadNet, per esempio openai/broadnet/glm-5.3. DSPy usa openai/ per scegliere il client e, nel nostro test, ha inviato broadnet/glm-5.3 come modello.

Quale modello BroadNet è adatto agli optimizer di DSPy?

Gli optimizer fanno molte chiamate, quindi contano costi e rate limit. DeepSeek V4.1 Flash ha un prezzo per token basso ed è il modello dei piani flat di BroadNet, che non sono misurati per token. Usa GLM 5.3 o Qwen3.8 27B per i moduli che chiamano strumenti, come ReAct.

La cache di DSPy conta con BroadNet?

DSPy mette in cache le chiamate al modello per default (cache=True), quindi ripetere la stessa chiamata non costa nulla. Imposta cache=False mentre verifichi la connessione, altrimenti potresti guardare una risposta presa dalla cache.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity