BroadRouter

CrewAI con BroadNet Inference come endpoint OpenAI personalizzato

Aggiornato

Crea il modello con la classe LLM di crewai, passando model con un ID BroadNet come broadnet/glm-5.3, custom_openai=True, base_url impostato su https://inference.broadnet.ai/v1 e api_key con la tua chiave BroadNet. Poi assegna quell’LLM a ogni Agent. CrewAI usa il suo client OpenAI nativo e chat completions, quindi non serve installare LiteLLM.

CrewAI è un framework Python per squadre di agenti. La sua documentazione mostra uno schema di endpoint personalizzato compatibile con OpenAI: un LLM con custom_openai=True e un base_url. BroadNet Inference serve chat completions standard su https://inference.broadnet.ai/v1, quindi si collega proprio lì. BroadRouter è il sito di BroadNet; questa guida segue la documentazione e il codice sorgente di CrewAI alla versione 1.15.41.

Installazione

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

Connessione

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

Se llm.call stampa una risposta, chiave, URL e ID del modello sono corretti.

Come CrewAI instrada la richiesta

Il codice sorgente di CrewAI stabilisce un ordine: custom_openai=True viene prima di tutto e forza il provider OpenAI nativo, scavalcando qualunque cosa suggerisca il nome del modello. Solleva anche un errore se non è impostato un endpoint personalizzato tramite base_url, api_base, OPENAI_BASE_URL o OPENAI_API_BASE. La stringa del modello viene inviata così com’è, quindi broadnet/glm-5.3 arriva a BroadNet invariato.

Senza custom_openai, un nome come broadnet/glm-5.3 verrebbe letto come provider broadnet, che CrewAI non conosce, e si ripiegherebbe su LiteLLM. L’alternativa documentata è model="openai/broadnet/glm-5.3" con un base_url: CrewAI rimuove il prefisso openai/ e invia il resto.

Altre due cose dal codice e dalla documentazione di CrewAI:

  • Campo del limite di token. Se passi max_tokens, il client nativo invia max_tokens su chat completions, il campo descritto dal riferimento API di BroadNet. Se passi max_completion_tokens, viene inviato quello.
  • Resta su chat completions. La documentazione di CrewAI mostra api="responses" per passare alla Responses API. Non impostarlo: BroadNet non indica quell’API.

Quale modello per quale agente

Agente Modello Perché
Agenti con strumenti broadnet/glm-5.3 BroadNet indica strumenti e output strutturato; contesto da 1M
Input di immagini o in arabo, con strumenti broadnet/qwen3.8-27b Strumenti più immagini; contesto da 262K
Letture lunghe, piano flat broadnet/deepseek-v4.1-flash Piani illimitati; strumenti non indicati da BroadNet

Una crew può combinarli: dai a ogni Agent il suo LLM.

Risoluzione dei problemi

  • 401. La chiave è sbagliata, scaduta o senza più quota. Se hai omesso api_key, CrewAI ha letto OPENAI_API_KEY, che potrebbe contenere una chiave OpenAI.
  • “custom_openai=True requires base_url”. Passa base_url, oppure imposta OPENAI_BASE_URL.
  • Modello non trovato. Controlla che l’ID corrisponda esattamente a quello di BroadNet. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo broadnet/gemma-4-26b-a4b e i due modelli Transcribe.
  • EmptyLLMResponseError. CrewAI ritenta una volta una risposta vuota, poi solleva questo errore. Alza max_tokens. Perché le risposte arrivano vuote.
  • 429 con più agenti. Una chiave a consumo consente 30 richieste al minuto e 4 in corso, e una sessione del piano esegue una richiesta alla volta. Vedi errori e retry.

Domande frequenti

Cosa fa custom_openai=True in CrewAI?

Secondo il codice sorgente di CrewAI, forza il provider OpenAI nativo qualunque sia l’aspetto del nome del modello, e richiede base_url, api_base, OPENAI_BASE_URL o OPENAI_API_BASE. La stringa del modello viene inviata così com’è, quindi broadnet/glm-5.3 arriva a BroadNet invariato.

Posso scrivere invece model="openai/broadnet/glm-5.3"?

Sì. Con un base_url personalizzato, CrewAI instrada il prefisso openai/ al suo client OpenAI nativo e lo rimuove, quindi BroadNet riceve broadnet/glm-5.3. custom_openai=True è la forma più chiara.

Perché la mia crew fallisce con EmptyLLMResponseError?

CrewAI ripete una volta la richiesta quando la risposta è vuota, cioè senza contenuto e senza chiamate agli strumenti, e solleva questo errore se anche il nuovo tentativo è vuoto. Con i modelli di ragionamento di BroadNet di solito significa che il ragionamento ha consumato il budget di output. Alza max_tokens.

Quale modello BroadNet conviene agli agenti CrewAI?

GLM 5.3 per gli agenti con strumenti, perché BroadNet indica per lui strumenti e output strutturato. Anche Qwen3.8 27B ha gli strumenti e accetta immagini.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity