Une application qui parle à un seul modèle n’a pas besoin de routeur. Les routeurs apparaissent quand une équipe utilise plusieurs modèles ou fournisseurs et veut un point unique pour choisir entre eux.
Comment ça marche
L’application envoie une requête au format OpenAI au routeur. Le routeur applique ses règles, transmet la requête à un backend et renvoie la réponse dans le même format. On en trouve trois grands types :
- Agrégateurs hébergés. OpenRouter, par exemple, propose « hundreds of AI models through a single API endpoint » (traduction : « des centaines de modèles d’IA via un seul endpoint d’API ») à l’adresse
https://openrouter.ai/api/v1, avec des fallbacks automatiques. Vous avez une clé et une facture ; l’agrégateur détient les comptes auprès des fournisseurs. - Passerelles auto-hébergées. Le LiteLLM Router tourne dans votre propre infrastructure. Il répartit le trafic entre des déploiements (simple shuffle par défaut, ou selon la latence, l’usage ou le coût), relance les erreurs de limite de débit avec un backoff exponentiel et met un déploiement en cooldown après une 429 ou un taux d’échec élevé.
- Routeurs de choix de modèle. Des travaux de recherche comme RouteLLM entraînent un classifieur qui envoie les prompts faciles à un modèle moins cher et les difficiles à un modèle plus puissant, pour réduire les coûts sans perdre en qualité.
Une passerelle auto-hébergée se configure comme une liste de backends. Cette entrée LiteLLM ajoute un fournisseur compatible OpenAI :
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
Pourquoi c’est important
- Fiabilité. Un routeur peut basculer quand un fournisseur renvoie des erreurs 429 ou 5xx. Voir limites de débit.
- Coût. Envoyer les prompts simples à un modèle moins cher peut réduire la facture.
- Une seule intégration. Le code parle à une seule URL de base avec un seul format de clé.
Les contreparties sont réelles. Un routeur ajoute un saut réseau. Un routeur hébergé est un acteur de plus qui voit vos prompts : la conservation des données dépend donc à la fois du routeur et du fournisseur qu’il choisit. Les modèles diffèrent aussi par leurs tokenizers, leur comportement de raisonnement et les paramètres pris en charge : un fallback silencieux peut donc changer les réponses.
Sur BroadNet Inference
BroadNet Inference n’est pas un routeur. C’est un fournisseur unique, avec une courte liste de modèles à l’adresse https://inference.broadnet.ai/v1 ; selon les Conditions d’utilisation de BroadNet, ses modèles tournent sur du matériel détenu par BroadNet ou loué aux États-Unis, ou chez des partenaires d’inférence américains. Il n’y a ni routage automatique ni fallback entre fournisseurs. Vous choisissez le modèle dans chaque requête, par exemple broadnet/deepseek-v4.1-flash ou broadnet/glm-5.3.
Comme l’API est compatible OpenAI, elle peut se placer derrière un routeur comme l’un des backends. Le guide du proxy LiteLLM montre la configuration. Pour comparer un routeur et un fournisseur au forfait, lisez une alternative à OpenRouter pour les agents. BroadNet ne conserve ni les prompts ni les sorties ; si vous ajoutez un routeur hébergé devant, vérifiez aussi sa conservation des données.
Erreurs courantes
- Relancer une 401 ou une 403 chez un autre fournisseur. Ce sont des erreurs de clé ou de politique ; corrigez-les d’abord. Voir erreurs et retries.
- Considérer les noms de modèles comme interchangeables. Testez chaque modèle de secours sur vos propres prompts.