Toute API LLM a ses mauvaises minutes : un 503, un timeout, une rafale de 429. Un mécanisme de secours évite que ces minutes deviennent une panne de votre application. Cet article montre comment basculer entre fournisseurs compatibles OpenAI dans votre propre code. Il explique quelles erreurs doivent déclencher le basculement, comment un disjoncteur le garde rapide et ce qui doit concorder entre fournisseurs pour que les utilisateurs ne remarquent rien.
Un point d’abord : BroadNet Inference ne route pas et ne bascule pas entre fournisseurs à votre place, et BroadRouter non plus. BroadRouter est le site web de BroadNet, pas un routeur. Vous construisez le secours vous-même, soit dans votre client comme ci-dessous, soit dans une passerelle comme LiteLLM.
Pourquoi garder un fournisseur de secours ?
Parce que la plupart des API en libre-service ne promettent rien sur la disponibilité. Les conditions de BroadNet le disent clairement à la section 7.4 : « self-serve has no availability commitment » (traduction : « le libre-service n’a aucun engagement de disponibilité »), et les niveaux de service n’existent que dans un accord écrit distinct (vérifié le 15 novembre 2026). La comparaison des SLA d’API LLM détaille ce à quoi s’engagent les autres fournisseurs. Si votre fonctionnalité doit rester disponible, un second fournisseur est l’assurance la plus concrète, quel que soit le SLA.
Les limites de débit sont la deuxième raison. Une clé BroadNet en paiement à l’usage autorise 30 requêtes par minute et 4 en cours simultanément. Un pic de trafic au-delà renvoie des 429, et un second fournisseur peut absorber le surplus pendant que vous augmentez la capacité.
Quelles erreurs doivent déclencher un basculement ?
Répartissez les erreurs en deux groupes. Certaines sont du fait du fournisseur et peuvent réussir ailleurs. D’autres sont de votre fait et échoueront partout.
| Erreur | Basculer ? | Pourquoi |
|---|---|---|
| Erreur de connexion, timeout | Oui, après nouvelles tentatives | Le fournisseur ou le réseau est injoignable |
| 500, 502, 503, 504 | Oui, après nouvelles tentatives | La documentation de BroadNet dit d’abord « retry with bounded exponential backoff » (traduction : « réessayer avec un backoff exponentiel borné ») |
| 429, limite de débit ou de concurrence | Oui, après backoff | Capacité chez ce fournisseur, pas une mauvaise requête |
| 429, limite de dépenses | Non | Basculer contourne le budget que vous avez fixé exprès |
| 400, 422 | Non | La requête est invalide et échouera aussi chez le fournisseur suivant |
| 401, 402 | Non | Clé, allocation ou solde. Chez BroadNet, un 401 couvre aussi une allocation en paiement à l’usage épuisée : basculer masque donc un problème de facturation |
| 403, 413 | Non | Politique ou taille ; corrigez la requête |
La référence de l’API de BroadNet indique qu’un 429 signifie que « a rate, concurrency, token-rate or spending limit was reached » (traduction : « une limite de débit, de concurrence, de débit de tokens ou de dépenses a été atteinte ») et qu’il faut « use response details and bounded backoff » (traduction : « utiliser les détails de la réponse et un backoff borné »). Lisez ces détails avant de basculer, pour qu’un 429 de limite de dépenses arrête la requête au lieu de la déplacer. Le guide des codes d’erreur liste tous les statuts.
Réessayez avant de basculer. Le SDK Python d’OpenAI réessaie déjà les erreurs de connexion, les 408, 409, 429 et les réponses 5xx « 2 times by default, with a short exponential backoff » (traduction : « 2 fois par défaut, avec un court backoff exponentiel »), et son timeout par défaut est de 10 minutes (README, vérifié le 15 novembre 2026). Dix minutes, c’est bien trop long à attendre avant de basculer. Réglez timeout pour chaque client. L’article sur la gestion des 429 couvre le backoff avec jitter.
À quoi ressemble un failover en Python ?
Deux clients, une liste ordonnée et un petit disjoncteur. Le fournisseur principal est GLM 5.3 chez BroadNet. Le secours est le même modèle open-weight chez DeepInfra, dont la documentation donne l’URL de base https://api.deepinfra.com/v1/openai (vérifiée le 15 novembre 2026).
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
RateLimitError, InternalServerError)
PROVIDERS = [
{"name": "broadnet", "model": "broadnet/glm-5.3",
"client": OpenAI(base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_retries=2, timeout=60)},
{"name": "deepinfra", "model": "zai-org/GLM-5.3",
"client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
api_key=os.environ["DEEPINFRA_API_KEY"],
max_retries=2, timeout=60)},
]
# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3 # consecutive failures before the breaker opens
COOLDOWN = 30 # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}
def chat(messages, **kwargs):
last_error = None
for p in PROVIDERS:
s = state[p["name"]]
if time.monotonic() < s["open_until"]:
continue # breaker open: don't wait on a provider that is down
try:
reply = p["client"].chat.completions.create(
model=p["model"], messages=messages, **kwargs)
s["fails"] = 0
return p["name"], reply
except FAILOVER_ON as err:
last_error = err
s["fails"] += 1
if s["fails"] >= TRIP_AFTER:
s["open_until"] = time.monotonic() + COOLDOWN
raise RuntimeError("every provider failed") from last_error
served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
Quatre détails comptent :
- Classes d’exceptions. Le SDK lève
RateLimitErrorpour un 429,InternalServerErrorà partir de 500, etAPIConnectionError(dontAPITimeoutErrorest une sous-classe) quand il ne parvient pas à se connecter. Tout le reste n’est volontairement pas intercepté. Pour exclure les 429 de limite de dépenses, inspectezerr.responseavant de continuer. - Le disjoncteur. Sans lui, chaque requête subit le timeout complet sur un fournisseur principal en panne avant de passer au suivant. Après trois échecs consécutifs, le fournisseur principal est ignoré pendant 30 secondes. Ensuite, la requête suivante le teste à nouveau.
- Journaliser qui a répondu. Renvoyez le nom du fournisseur et conservez
reply.model. Quand la qualité change, vous devez savoir quel fournisseur a répondu. - Budget de raisonnement. GLM 5.3 raisonne avant de répondre. La documentation de BroadNet indique que le raisonnement compte dans
max_tokens: laissez donc 1 000 ou plus chez chaque fournisseur.
Comment faire correspondre les ID de modèle entre fournisseurs ?
Le même modèle open-weight a un ID différent chez chaque hébergeur, et les fonctionnalités indiquées peuvent varier. GLM 5.3 au 15 novembre 2026 :
| BroadNet Inference | DeepInfra | Fireworks AI | |
|---|---|---|---|
| ID du modèle | broadnet/glm-5.3 |
zai-org/GLM-5.3 |
accounts/fireworks/models/glm-5p3 |
| Contexte | 1 048 576 tokens | 1 048 576 tokens | « 1040k » tokens |
| Outils | Documentés | « Function » indiqué | Pris en charge |
| Sortie structurée | Documentée | « JSON » indiqué | Non vérifié |
Deux règles en découlent. D’abord, gardez la correspondance dans la configuration, pas éparpillée dans le code. Ensuite, choisissez un secours adapté à ce que vos requêtes utilisent. Chez BroadNet, les outils et la sortie structurée sont documentés uniquement pour GLM 5.3 et Qwen3.8 27B. Un agent qui appelle des outils peut basculer de GLM 5.3 vers GLM 5.3 ailleurs. Il ne peut pas basculer sans risque vers un modèle qui ne documente pas les outils. Si le secours a une fenêtre de contexte plus petite, raccourcissez le prompt ou ignorez ce secours pour les longues requêtes. Les URL de base de 14 fournisseurs figurent dans la référence des URL de base.
Comment garder des réponses comparables après un basculement ?
Les mêmes poids chez deux hébergeurs peuvent quand même répondre différemment, car les hébergeurs peuvent servir des précisions, des templates de chat ou des paramètres par défaut différents. Un autre modèle répondra différemment, c’est certain.
- Faites tourner votre jeu d’évaluation sur chaque entrée de la liste, pas seulement sur le fournisseur principal.
- Fixez
temperature,max_tokenset le prompt système à chaque requête, pour que les valeurs par défaut du fournisseur ne puissent pas modifier la sortie. - Validez la sortie structurée de la même façon sur chaque chemin. Corriger un JSON invalide décrit la boucle réparation-nouvelle tentative.
- Préférez le même modèle ailleurs à un autre modèle chez le même hébergeur. Les utilisateurs remarquent plus un changement de style que quelques secondes de latence.
Et le streaming et les appels d’outils ?
Un stream peut échouer à mi-parcours. La documentation de BroadNet indique qu’un stream qui se termine avant data: [DONE] doit être traité comme incomplet : notez le X-Request-ID et décidez si votre application peut envoyer sans risque une nouvelle requête.
- Avant le premier token : basculez librement. L’utilisateur n’a encore rien vu.
- Après l’affichage de tokens : recommencez chez le secours et remplacez la réponse partielle, ou affichez une erreur avec un bouton pour réessayer. Coller ensemble deux demi-réponses de fournisseurs différents se lit mal.
- Appels d’outils avec effets de bord : ne relancez jamais une étape qui envoie un e-mail, débite une carte ou écrit dans une base de données simplement parce que l’appel au modèle a échoué. Donnez à chaque action une clé d’idempotence. Les agents de longue durée couvrent les points de reprise.
Le streaming avec SSE explique comment détecter un stream terminé trop tôt.
Combien coûte le failover ?
- Travail en double. Un timeout de votre côté ne prouve pas que le fournisseur s’est arrêté. Avec la facturation au token, chaque nouvelle tentative est une nouvelle inférence : attendez-vous à payer deux fois certaines requêtes.
- Prix différents. Le secours facture à ses propres tarifs. DeepInfra affichait un prix promotionnel pour GLM-5.3 le 15 novembre 2026 : revérifiez avant de budgéter. BroadNet facture $0.78 en entrée, $0.173 en entrée en cache et $3.46 en sortie par million de tokens.
- Caches froids. L’entrée en cache ne passe pas d’un fournisseur à l’autre. Les premières requêtes chez le secours paient le plein tarif d’entrée sur un préfixe qui était en cache chez le fournisseur principal. Voir les tokens d’entrée en cache.
- Hedging. Envoyer chaque requête à deux fournisseurs à la fois et garder la première réponse réduit la latence de queue, mais double à peu près la facture. Ne l’utilisez que là où la latence le justifie.
Le secours respecte-t-il les mêmes conditions sur les données ?
Un fournisseur de secours est un sous-traitant de plus qui reçoit les mêmes prompts. Si vous avez promis quelque chose à vos clients sur leurs données, la promesse doit tenir pour chaque entrée de la liste.
La déclaration de confidentialité de BroadNet indique : « We do not retain prompts, audio, images, answers or transcripts » (traduction : « Nous ne conservons ni prompts, ni audio, ni images, ni réponses, ni transcriptions »). Le contenu d’inférence n’est pas conservé ; les métadonnées nécessaires de compte, de facturation et de sécurité sont conservées comme le décrit cette déclaration. Elle précise aussi que les données d’inférence ne servent pas à entraîner, affiner ou évaluer des modèles. Selon cette déclaration, les modèles hébergés « run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup » (traduction : « tournent sur du matériel détenu ou loué par BroadNet aux États-Unis, avec des capacités partenaires en secours ») ; DeepSeek V4.1 Flash est hébergé chez un partenaire. Pour les données soumises à des exigences de résidence, les conditions (section 7.3a) demandent de convenir des lieux de traitement avant de les envoyer. Vérifiez les mêmes points chez le secours : conservation, usage pour l’entraînement, localisation et sous-traitants ultérieurs. S’il ne fait pas l’affaire, retirez les requêtes sensibles du chemin de secours et faites-les échouer en mode fermé. La checklist de conservation zéro des données liste les questions à poser.
Faut-il plutôt utiliser une passerelle comme LiteLLM ?
Utilisez une passerelle si plusieurs services ont besoin des mêmes règles de secours. Le proxy de LiteLLM prend une liste fallbacks essayée dans l’ordre. num_retries réessaie un groupe de modèles avant de basculer. allowed_fails et cooldown_time mettent un déploiement défaillant de côté pendant un moment, ce qui fait office de disjoncteur. Des context_window_fallbacks et content_policy_fallbacks distincts gèrent ces types d’erreurs (documentation LiteLLM, vérifiée le 15 novembre 2026) :
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
- model_name: glm-backup
litellm_params:
model: openai/zai-org/GLM-5.3
api_base: https://api.deepinfra.com/v1/openai
api_key: os.environ/DEEPINFRA_API_KEY
router_settings:
fallbacks: [{"glm": ["glm-backup"]}]
allowed_fails: 3
cooldown_time: 30
litellm_settings:
num_retries: 2
request_timeout: 60
Le guide du proxy LiteLLM montre l’entrée BroadNet en entier. Les deux entrées utilisent le préfixe générique openai/ de LiteLLM avec une api_base, comme dans le guide. Une passerelle ajoute un saut réseau et un composant de plus à maintenir. Pour une seule application, une quarantaine de lignes dans votre client, comme ci-dessus, suffisent.
Comment tester le failover avant d’en avoir besoin ?
- Dans une configuration de test, faites pointer le fournisseur principal vers un hôte injoignable et vérifiez que les requêtes arrivent chez le secours.
- Envoyez une requête volontairement invalide et vérifiez qu’elle ne bascule pas.
- Utilisez une clé principale invalide et vérifiez que le 401 remonte comme une erreur, pas comme un basculement silencieux.
- Surveillez le disjoncteur : après trois échecs, le fournisseur principal doit être ignoré sans attendre le timeout.
- Déclenchez une alerte quand le secours sert plus qu’une petite part du trafic. Un failover silencieux peut masquer un fournisseur principal défaillant pendant des jours.
Le Router de LiteLLM accepte mock_testing_fallbacks=True dans les tests directs pour forcer un basculement.
La place de BroadNet Inference
BroadRouter est le site web de BroadNet, et BroadNet Inference peut occuper n’importe quelle place dans votre liste. En principal, il vous donne GLM 5.3 et Qwen3.8 27B avec outils et sortie structurée documentés, plus Gemma 4 VL 26B et DeepSeek V4.1 Flash, sur une seule URL de base, sans conservation du contenu. En secours, c’est un endpoint compatible OpenAI de plus à ajouter à la liste. Dans les deux cas, la logique de failover vous appartient : BroadNet ne route pas entre fournisseurs, et le libre-service n’a pas de SLA. Si vous avez besoin de niveaux de service contractuels, ils ne viennent qu’avec un accord écrit distinct. Comparez les modèles, ou créez un compte et testez votre chaîne avec le crédit de départ de $5 sur Gemma 4 VL 26B. GLM 5.3 et Qwen3.8 27B nécessitent une recharge.
