BroadRouter
Inizia

Instradare LiteLLM verso BroadNet Inference (SDK e proxy)

Aggiornato

In LiteLLM metti il prefisso openai/ davanti all’ID del modello BroadNet, come in openai/broadnet/glm-5.3, e imposta api_base su https://inference.broadnet.ai/v1 con la tua chiave BroadNet come api_key. Nel proxy inserisci gli stessi valori sotto litellm_params in config.yaml e dai al modello un model_name breve.

LiteLLM offre un’unica interfaccia verso molti provider di LLM, sia come SDK Python sia come server proxy. Per raggiungere un’API compatibile con OpenAI, la sua documentazione indica due cose: mettere openai/ davanti al nome del modello e impostare api_base. BroadNet Inference usa questa route.

1. SDK Python

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

openai/ seleziona la route; LiteLLM invia broadnet/glm-5.3 a BroadNet. Non aggiungere nulla al base URL: il client OpenAI di LiteLLM aggiunge da solo il percorso dell’endpoint. Come ricorda il commento nel codice, il ragionamento conta in max_tokens.

La documentazione di LiteLLM precisa che la route openai usa la libreria Python ufficiale di OpenAI, che richiede una chiave API a ogni richiesta. Passa api_key in modo esplicito, come sopra, così LiteLLM non ripiega mai su una OPENAI_API_KEY pensata per OpenAI. La risposta torna nel formato OpenAI, quindi il resto del tuo codice non cambia.

Quando usare il proxy

Dentro una singola app Python basta l’SDK. Il proxy serve quando più app o linguaggi hanno bisogno degli stessi modelli: chiamano tutti un unico endpoint in stile OpenAI con nomi di modello brevi, e il proxy custodisce la chiave BroadNet, applica i rate limit e registra l’utilizzo. Le tue app, a quel punto, non hanno bisogno di alcuna impostazione specifica per BroadNet.

2. Server proxy

Installa gli extra del proxy e scrivi config.yaml:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Avvialo e chiamalo come qualsiasi endpoint OpenAI (il comando curl va eseguito in un secondo terminale):

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

os.environ/BROADNET_API_KEY_GLM dice a LiteLLM di leggere quella chiave dall’ambiente. Ogni voce usa una sua chiave BroadNet a consumo, quindi rpm: 30, il rate limit opzionale di LiteLLM per singolo deployment, corrisponde al limite di ciascuna chiave. Se più voci condividono la stessa chiave, condividono anche quell’unico limite, quindi dividi il numero tra loro. master_key fa sì che il proxy richieda una chiave a ogni chiamata; la documentazione di LiteLLM dice che deve iniziare con sk-. Esporta LITELLM_MASTER_KEY prima di avviare il proxy.

Quale modello scegliere

model_name Modello BroadNet Uso
glm GLM 5.3 Strumenti, output strutturato, contesto da 1M
deepseek-flash DeepSeek V4.1 Flash Contesto lungo; il modello del piano illimitato
qwen Qwen3.8 27B Immagini, strumenti, arabo
(aggiungilo se serve) Gemma 4 VL 26B Prezzo per token basso; funziona con il credito di $5

I prezzi sono nella pagina dei prezzi. Se arrivi da un altro gateway, la checklist di migrazione elenca cosa testare.

Risoluzione dei problemi

  • 401. La chiave BroadNet è sbagliata, scaduta o ha esaurito la quota a consumo. Se il 401 arriva dal proxy stesso, controlla invece la chiave LiteLLM che hai inviato.
  • Not Found. Verifica che api_base sia https://inference.broadnet.ai/v1, con /v1. Se il base URL è giusto, controlla che l’ID del modello dopo openai/ corrisponda esattamente a quello di BroadNet.
  • Modello rifiutato su un account nuovo. GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash richiedono prima una ricarica; il credito di $5 copre solo broadnet/gemma-4-26b-a4b e i due modelli Transcribe.
  • Contenuto vuoto. Il ragionamento conta in max_tokens. Alzalo o invia reasoning_effort="low". Perché le risposte arrivano vuote.
  • 429. Una chiave a consumo consente 30 richieste al minuto e 4 in contemporanea. L’rpm di LiteLLM aiuta con il primo limite; per il secondo, tieni i chiamanti concorrenti a 4 o meno per chiave. Vedi errori e retry.
  • Agenti in parallelo con una chiave di piano. Una sessione del piano esegue una richiesta alla volta. Se fai passare più agenti dal proxy sulla stessa sessione, finiscono in coda; acquista una sessione per ogni agente parallelo.

Domande frequenti

Perché LiteLLM restituisce un errore Not Found?

La documentazione di LiteLLM dice di verificare che api_base finisca con /v1. Usa https://inference.broadnet.ai/v1 e non aggiungere /chat/completions.

Perché il nome del modello è openai/broadnet/glm-5.3?

Il prefisso openai/ dice a LiteLLM di chiamare un endpoint /chat/completions in stile OpenAI. LiteLLM usa il prefisso per scegliere la route e invia il resto, broadnet/glm-5.3, che è l’ID del modello BroadNet.

Posso mettere una chiave del piano illimitato BroadNet dietro un proxy LiteLLM condiviso?

Le chiavi dei piani non si possono condividere né rivendere, e una sessione esegue una richiesta alla volta. Usale per i tuoi agenti. Per un proxy di team usa chiavi a consumo.

LiteLLM ha bisogno di OPENAI_API_KEY per chiamare BroadNet?

La route openai richiede una chiave a ogni richiesta, da api_key o da OPENAI_API_KEY. Passa la tua chiave BroadNet come api_key, o os.environ/BROADNET_API_KEY nel proxy, così LiteLLM non invia a BroadNet una vera chiave OpenAI.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity