BroadRouter

Usare LangChain con BroadNet Inference

Aggiornato

Installa langchain-openai e crea ChatOpenAI con base_url impostato su https://inference.broadnet.ai/v1, la tua chiave BroadNet come api_key e un ID di modello BroadNet, per esempio broadnet/glm-5.3. Invoke, streaming e catene con tool calling passano poi da chat completions. Evita le funzioni disponibili solo nella Responses API e lascia spazio al ragionamento in max_tokens.

ChatOpenAI di LangChain accetta qualsiasi endpoint tramite base_url. Con BroadNet Inference funziona perché usa il formato standard di chat completions. Se invece chiami l’API direttamente, vedi la guida all’SDK Python.

Installazione

Le versioni attuali di langchain-openai (1.x) richiedono Python 3.11 o successivo.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

Connessione

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

openai_api_base è un alias di base_url. Se mancano entrambi, LangChain legge OPENAI_API_BASE, e poi il client openai sottostante legge OPENAI_BASE_URL. Il commento nel codice ricorda che il ragionamento conta nel limite di max_tokens.

Cose da sapere

  • Il testo del ragionamento non viene conservato. La documentazione di LangChain dice che ChatOpenAI segue la specifica ufficiale di OpenAI e non conserva campi non standard come reasoning_content. Ricevi la risposta finale, che di solito è ciò che serve a una catena.
  • Lascia spazio al ragionamento. GLM 5.3, DeepSeek V4.1 Flash e Qwen3.8 27B ragionano prima di rispondere. Un max_tokens basso può restituire una risposta vuota. Perché le risposte arrivano vuote.
  • Usage in streaming. Se configuri l’endpoint con OPENAI_BASE_URL, LangChain disattiva stream_usage per impostazione predefinita. Passa stream_usage=True se vuoi il conteggio dei token durante lo streaming. La documentazione di BroadNet dice che l’usage arriva nell’ultimo chunk, quando lo richiedi.
  • Resta su chat completions. BroadNet serve /v1/chat/completions, non la Responses API. Secondo la documentazione di LangChain, ChatOpenAI passa alla Responses API quando usi gli strumenti integrati di OpenAI (web search, file search, code interpreter e simili), lo stato della conversazione o il parametro reasoning. Lasciali fuori e non impostare use_responses_api=True.
  • Nome del limite di token. Secondo la documentazione di LangChain, max_tokens viene convertito internamente in max_completion_tokens. La documentazione di BroadNet descrive max_tokens. Se un limite sembra ignorato, controlla la richiesta che la tua app invia davvero.

Quale modello per quale catena

Catena Modello
Tool calling e output strutturato broadnet/glm-5.3
Documenti lunghi e agenti, piano illimitato broadnet/deepseek-v4.1-flash
Testo in arabo o immagini broadnet/qwen3.8-27b

Vedi i prezzi di tutti i modelli.

Risoluzione dei problemi

  • 401. La chiave è sbagliata, scaduta o ha esaurito la quota a consumo. Se non hai passato api_key, LangChain ha usato OPENAI_API_KEY, che potrebbe contenere una chiave OpenAI.
  • 404 o “not found”. Controlla che base_url finisca con /v1 e che nulla instradi la chiamata verso la Responses API (vedi sopra). Poi verifica che l’ID del modello corrisponda esattamente a quello di BroadNet, con il prefisso broadnet/. I modelli a pagamento richiedono una ricarica; il credito di $5 copre broadnet/gemma-4-26b-a4b e i due modelli Transcribe.
  • content vuoto. Il ragionamento ha consumato il budget. Alza max_tokens. Perché le risposte arrivano vuote.
  • Le chiamate agli strumenti non partono mai. Usa broadnet/glm-5.3 o broadnet/qwen3.8-27b. La documentazione di BroadNet indica gli strumenti solo per questi due.
  • 429 in catene batch o parallele. Una chiave a consumo consente 30 richieste al minuto e 4 in contemporanea. Imposta max_concurrency nella configurazione del runnable per batch(). Vedi codici di errore e retry.

Domande frequenti

In ChatOpenAI uso base_url o openai_api_base?

Indifferente. openai_api_base è un alias di base_url. Se non passi nessuno dei due, LangChain controlla OPENAI_API_BASE, e poi il client openai legge OPENAI_BASE_URL.

Posso impostare l’endpoint di BroadNet solo con le variabili d’ambiente?

Sì. Imposta OPENAI_BASE_URL su https://inference.broadnet.ai/v1 e OPENAI_API_KEY con la tua chiave BroadNet, poi crea ChatOpenAI indicando solo l’ID del modello. Passa stream_usage=True se vuoi il conteggio dei token durante lo streaming.

Perché LangChain scarta reasoning_content dalle risposte di BroadNet?

La documentazione di LangChain dice che ChatOpenAI segue la specifica ufficiale di OpenAI e non estrae campi non standard come reasoning_content. La risposta finale in content arriva comunque.

ChatOpenAI con BroadNet supporta il tool calling?

Sì, tramite bind_tools, sui modelli per cui BroadNet indica gli strumenti. Per il tool calling e with_structured_output usa broadnet/glm-5.3 o broadnet/qwen3.8-27b.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity