BroadRouter
Inizia

LLM router (router per LLM)

Aggiornato

Un LLM router è un software o un servizio che si mette tra un’applicazione e una o più API di modelli linguistici e decide, per ogni richiesta, quale modello o provider la gestisce, in base a regole come costo, latenza, disponibilità o tipo di compito.

Detto anche: router LLM, router per LLM, gateway LLM, gateway IA, aggregatore di LLM, routing dei modelli, LLM router, AI gateway, LLM gateway, model router, LLM aggregator

Un’applicazione che parla con un solo modello non ha bisogno di un router. I router entrano in gioco quando un team usa più modelli o provider e vuole un unico punto in cui scegliere tra loro.

Come funziona

L’applicazione invia al router una richiesta in stile OpenAI. Il router applica le sue regole, inoltra la richiesta a un backend e restituisce la risposta nello stesso formato. Ci sono tre tipi comuni:

  • Aggregatori ospitati. OpenRouter, per esempio, offre “hundreds of AI models through a single API endpoint” (traduzione: centinaia di modelli di IA tramite un unico endpoint API) su https://openrouter.ai/api/v1, con fallback automatici. Hai una chiave e una fattura; l’aggregatore ha gli account presso i provider.
  • Gateway self-hosted. LiteLLM Router gira nella tua infrastruttura. Distribuisce il traffico tra i deployment (simple shuffle per default, oppure in base a latenza, utilizzo o costo), ritenta gli errori di rate limit con backoff esponenziale e mette un deployment in cooldown dopo un 429 o un tasso di errori elevato.
  • Router per la scelta del modello. Ricerche come RouteLLM addestrano un classificatore che manda i prompt facili a un modello più economico e quelli difficili a un modello più forte, per ridurre i costi senza perdere qualità.

Un gateway self-hosted si configura come una lista di backend. Questa voce di LiteLLM aggiunge un provider compatibile con OpenAI:

model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY

Perché è importante

  • Affidabilità. Un router può passare a un altro provider quando uno restituisce errori 429 o 5xx. Vedi rate limit.
  • Costo. Mandare i prompt semplici a un modello più economico può abbassare la fattura.
  • Una sola integrazione. Il codice parla con un solo base URL e un solo formato di chiave.

I compromessi sono reali. Un router aggiunge un passaggio di rete. Un router ospitato è una parte in più che vede i tuoi prompt, quindi la conservazione dei dati dipende sia dal router sia dal provider che sceglie. I modelli differiscono anche per tokenizer, comportamento di ragionamento e supporto dei parametri, quindi un fallback silenzioso può cambiare le risposte.

Su BroadNet Inference

BroadNet Inference non è un router. È un singolo provider con un breve elenco di modelli su https://inference.broadnet.ai/v1; i Termini di BroadNet dicono che i suoi modelli girano su hardware statunitense di proprietà di BroadNet o in leasing, oppure presso partner di inferenza statunitensi. Non c’è routing automatico né fallback tra provider. Scegli tu il modello in ogni richiesta, per esempio broadnet/deepseek-v4.1-flash o broadnet/glm-5.3.

Poiché l’API è compatibile con OpenAI, può stare dietro un router come uno dei backend. La guida al proxy LiteLLM mostra la configurazione. Per un confronto tra un router e un provider a prezzo fisso, leggi alternativa a OpenRouter per gli agenti. BroadNet non conserva prompt né output; se aggiungi davanti un router ospitato, controlla anche la sua conservazione dei dati.

Errori comuni

  • Ritentare un 401 o un 403 su un altro provider. Sono errori di chiave o di policy; risolvili prima. Vedi errori e retry.
  • Considerare intercambiabili i nomi dei modelli. Testa ogni modello di fallback sui tuoi prompt.

Domande frequenti

Un LLM router è la stessa cosa di un load balancer?

Il load balancer è una parte del router. Un router può anche scegliere un modello diverso per un compito, passare a un altro provider dopo un errore e tradurre tra formati di API. Un semplice load balancer distribuisce solo il traffico tra server identici.

Un router aggiunge latenza?

Di solito poca, perché la richiesta fa un passaggio di rete in più e il router può ispezionarla. I fallback possono aggiungerne di più, perché il tentativo fallito avviene prima del retry. Misura il time to first token con e senza router.

BroadNet Inference è un LLM router?

No. Nonostante il nome di questo sito, BroadNet Inference è un singolo provider; i Termini di BroadNet dicono che i suoi modelli girano su hardware statunitense di proprietà di BroadNet o in leasing, oppure presso partner di inferenza statunitensi. Scegli tu il modello in ogni richiesta. Puoi metterlo dietro un router come uno dei provider.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity