Un’applicazione che parla con un solo modello non ha bisogno di un router. I router entrano in gioco quando un team usa più modelli o provider e vuole un unico punto in cui scegliere tra loro.
Come funziona
L’applicazione invia al router una richiesta in stile OpenAI. Il router applica le sue regole, inoltra la richiesta a un backend e restituisce la risposta nello stesso formato. Ci sono tre tipi comuni:
- Aggregatori ospitati. OpenRouter, per esempio, offre “hundreds of AI models through a single API endpoint” (traduzione: centinaia di modelli di IA tramite un unico endpoint API) su
https://openrouter.ai/api/v1, con fallback automatici. Hai una chiave e una fattura; l’aggregatore ha gli account presso i provider. - Gateway self-hosted. LiteLLM Router gira nella tua infrastruttura. Distribuisce il traffico tra i deployment (simple shuffle per default, oppure in base a latenza, utilizzo o costo), ritenta gli errori di rate limit con backoff esponenziale e mette un deployment in cooldown dopo un 429 o un tasso di errori elevato.
- Router per la scelta del modello. Ricerche come RouteLLM addestrano un classificatore che manda i prompt facili a un modello più economico e quelli difficili a un modello più forte, per ridurre i costi senza perdere qualità.
Un gateway self-hosted si configura come una lista di backend. Questa voce di LiteLLM aggiunge un provider compatibile con OpenAI:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
Perché è importante
- Affidabilità. Un router può passare a un altro provider quando uno restituisce errori 429 o 5xx. Vedi rate limit.
- Costo. Mandare i prompt semplici a un modello più economico può abbassare la fattura.
- Una sola integrazione. Il codice parla con un solo base URL e un solo formato di chiave.
I compromessi sono reali. Un router aggiunge un passaggio di rete. Un router ospitato è una parte in più che vede i tuoi prompt, quindi la conservazione dei dati dipende sia dal router sia dal provider che sceglie. I modelli differiscono anche per tokenizer, comportamento di ragionamento e supporto dei parametri, quindi un fallback silenzioso può cambiare le risposte.
Su BroadNet Inference
BroadNet Inference non è un router. È un singolo provider con un breve elenco di modelli su https://inference.broadnet.ai/v1; i Termini di BroadNet dicono che i suoi modelli girano su hardware statunitense di proprietà di BroadNet o in leasing, oppure presso partner di inferenza statunitensi. Non c’è routing automatico né fallback tra provider. Scegli tu il modello in ogni richiesta, per esempio broadnet/deepseek-v4.1-flash o broadnet/glm-5.3.
Poiché l’API è compatibile con OpenAI, può stare dietro un router come uno dei backend. La guida al proxy LiteLLM mostra la configurazione. Per un confronto tra un router e un provider a prezzo fisso, leggi alternativa a OpenRouter per gli agenti. BroadNet non conserva prompt né output; se aggiungi davanti un router ospitato, controlla anche la sua conservazione dei dati.
Errori comuni
- Ritentare un 401 o un 403 su un altro provider. Sono errori di chiave o di policy; risolvili prima. Vedi errori e retry.
- Considerare intercambiabili i nomi dei modelli. Testa ogni modello di fallback sui tuoi prompt.