BroadRouter
Commencer

Failover d’API LLM : un fournisseur de secours dans votre propre code

Par l’équipe BroadNet Inference · 8 min de lecture · Publié · Mis à jour

Tenez une liste ordonnée de fournisseurs compatibles OpenAI, chacun avec son client et son ID de modèle. Basculez sur les erreurs de connexion, les timeouts, les 5xx et les 429 de limite de débit une fois épuisées les nouvelles tentatives du SDK. Ne basculez jamais sur un 400, 401, 402, 403, 413 ou 422. Ajoutez un disjoncteur et vérifiez que le secours égale le fournisseur principal en fonctionnalités et en conditions sur les données.

Toute API LLM a ses mauvaises minutes : un 503, un timeout, une rafale de 429. Un mécanisme de secours évite que ces minutes deviennent une panne de votre application. Cet article montre comment basculer entre fournisseurs compatibles OpenAI dans votre propre code. Il explique quelles erreurs doivent déclencher le basculement, comment un disjoncteur le garde rapide et ce qui doit concorder entre fournisseurs pour que les utilisateurs ne remarquent rien.

Un point d’abord : BroadNet Inference ne route pas et ne bascule pas entre fournisseurs à votre place, et BroadRouter non plus. BroadRouter est le site web de BroadNet, pas un routeur. Vous construisez le secours vous-même, soit dans votre client comme ci-dessous, soit dans une passerelle comme LiteLLM.

Pourquoi garder un fournisseur de secours ?

Parce que la plupart des API en libre-service ne promettent rien sur la disponibilité. Les conditions de BroadNet le disent clairement à la section 7.4 : « self-serve has no availability commitment » (traduction : « le libre-service n’a aucun engagement de disponibilité »), et les niveaux de service n’existent que dans un accord écrit distinct (vérifié le 15 novembre 2026). La comparaison des SLA d’API LLM détaille ce à quoi s’engagent les autres fournisseurs. Si votre fonctionnalité doit rester disponible, un second fournisseur est l’assurance la plus concrète, quel que soit le SLA.

Les limites de débit sont la deuxième raison. Une clé BroadNet en paiement à l’usage autorise 30 requêtes par minute et 4 en cours simultanément. Un pic de trafic au-delà renvoie des 429, et un second fournisseur peut absorber le surplus pendant que vous augmentez la capacité.

Quelles erreurs doivent déclencher un basculement ?

Répartissez les erreurs en deux groupes. Certaines sont du fait du fournisseur et peuvent réussir ailleurs. D’autres sont de votre fait et échoueront partout.

Erreur Basculer ? Pourquoi
Erreur de connexion, timeout Oui, après nouvelles tentatives Le fournisseur ou le réseau est injoignable
500, 502, 503, 504 Oui, après nouvelles tentatives La documentation de BroadNet dit d’abord « retry with bounded exponential backoff » (traduction : « réessayer avec un backoff exponentiel borné »)
429, limite de débit ou de concurrence Oui, après backoff Capacité chez ce fournisseur, pas une mauvaise requête
429, limite de dépenses Non Basculer contourne le budget que vous avez fixé exprès
400, 422 Non La requête est invalide et échouera aussi chez le fournisseur suivant
401, 402 Non Clé, allocation ou solde. Chez BroadNet, un 401 couvre aussi une allocation en paiement à l’usage épuisée : basculer masque donc un problème de facturation
403, 413 Non Politique ou taille ; corrigez la requête

La référence de l’API de BroadNet indique qu’un 429 signifie que « a rate, concurrency, token-rate or spending limit was reached » (traduction : « une limite de débit, de concurrence, de débit de tokens ou de dépenses a été atteinte ») et qu’il faut « use response details and bounded backoff » (traduction : « utiliser les détails de la réponse et un backoff borné »). Lisez ces détails avant de basculer, pour qu’un 429 de limite de dépenses arrête la requête au lieu de la déplacer. Le guide des codes d’erreur liste tous les statuts.

Réessayez avant de basculer. Le SDK Python d’OpenAI réessaie déjà les erreurs de connexion, les 408, 409, 429 et les réponses 5xx « 2 times by default, with a short exponential backoff » (traduction : « 2 fois par défaut, avec un court backoff exponentiel »), et son timeout par défaut est de 10 minutes (README, vérifié le 15 novembre 2026). Dix minutes, c’est bien trop long à attendre avant de basculer. Réglez timeout pour chaque client. L’article sur la gestion des 429 couvre le backoff avec jitter.

À quoi ressemble un failover en Python ?

Deux clients, une liste ordonnée et un petit disjoncteur. Le fournisseur principal est GLM 5.3 chez BroadNet. Le secours est le même modèle open-weight chez DeepInfra, dont la documentation donne l’URL de base https://api.deepinfra.com/v1/openai (vérifiée le 15 novembre 2026).

import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}


def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error


served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)

Quatre détails comptent :

  1. Classes d’exceptions. Le SDK lève RateLimitError pour un 429, InternalServerError à partir de 500, et APIConnectionError (dont APITimeoutError est une sous-classe) quand il ne parvient pas à se connecter. Tout le reste n’est volontairement pas intercepté. Pour exclure les 429 de limite de dépenses, inspectez err.response avant de continuer.
  2. Le disjoncteur. Sans lui, chaque requête subit le timeout complet sur un fournisseur principal en panne avant de passer au suivant. Après trois échecs consécutifs, le fournisseur principal est ignoré pendant 30 secondes. Ensuite, la requête suivante le teste à nouveau.
  3. Journaliser qui a répondu. Renvoyez le nom du fournisseur et conservez reply.model. Quand la qualité change, vous devez savoir quel fournisseur a répondu.
  4. Budget de raisonnement. GLM 5.3 raisonne avant de répondre. La documentation de BroadNet indique que le raisonnement compte dans max_tokens : laissez donc 1 000 ou plus chez chaque fournisseur.

Comment faire correspondre les ID de modèle entre fournisseurs ?

Le même modèle open-weight a un ID différent chez chaque hébergeur, et les fonctionnalités indiquées peuvent varier. GLM 5.3 au 15 novembre 2026 :

BroadNet Inference DeepInfra Fireworks AI
ID du modèle broadnet/glm-5.3 zai-org/GLM-5.3 accounts/fireworks/models/glm-5p3
Contexte 1 048 576 tokens 1 048 576 tokens « 1040k » tokens
Outils Documentés « Function » indiqué Pris en charge
Sortie structurée Documentée « JSON » indiqué Non vérifié

Deux règles en découlent. D’abord, gardez la correspondance dans la configuration, pas éparpillée dans le code. Ensuite, choisissez un secours adapté à ce que vos requêtes utilisent. Chez BroadNet, les outils et la sortie structurée sont documentés uniquement pour GLM 5.3 et Qwen3.8 27B. Un agent qui appelle des outils peut basculer de GLM 5.3 vers GLM 5.3 ailleurs. Il ne peut pas basculer sans risque vers un modèle qui ne documente pas les outils. Si le secours a une fenêtre de contexte plus petite, raccourcissez le prompt ou ignorez ce secours pour les longues requêtes. Les URL de base de 14 fournisseurs figurent dans la référence des URL de base.

Comment garder des réponses comparables après un basculement ?

Les mêmes poids chez deux hébergeurs peuvent quand même répondre différemment, car les hébergeurs peuvent servir des précisions, des templates de chat ou des paramètres par défaut différents. Un autre modèle répondra différemment, c’est certain.

  • Faites tourner votre jeu d’évaluation sur chaque entrée de la liste, pas seulement sur le fournisseur principal.
  • Fixez temperature, max_tokens et le prompt système à chaque requête, pour que les valeurs par défaut du fournisseur ne puissent pas modifier la sortie.
  • Validez la sortie structurée de la même façon sur chaque chemin. Corriger un JSON invalide décrit la boucle réparation-nouvelle tentative.
  • Préférez le même modèle ailleurs à un autre modèle chez le même hébergeur. Les utilisateurs remarquent plus un changement de style que quelques secondes de latence.

Et le streaming et les appels d’outils ?

Un stream peut échouer à mi-parcours. La documentation de BroadNet indique qu’un stream qui se termine avant data: [DONE] doit être traité comme incomplet : notez le X-Request-ID et décidez si votre application peut envoyer sans risque une nouvelle requête.

  • Avant le premier token : basculez librement. L’utilisateur n’a encore rien vu.
  • Après l’affichage de tokens : recommencez chez le secours et remplacez la réponse partielle, ou affichez une erreur avec un bouton pour réessayer. Coller ensemble deux demi-réponses de fournisseurs différents se lit mal.
  • Appels d’outils avec effets de bord : ne relancez jamais une étape qui envoie un e-mail, débite une carte ou écrit dans une base de données simplement parce que l’appel au modèle a échoué. Donnez à chaque action une clé d’idempotence. Les agents de longue durée couvrent les points de reprise.

Le streaming avec SSE explique comment détecter un stream terminé trop tôt.

Combien coûte le failover ?

  • Travail en double. Un timeout de votre côté ne prouve pas que le fournisseur s’est arrêté. Avec la facturation au token, chaque nouvelle tentative est une nouvelle inférence : attendez-vous à payer deux fois certaines requêtes.
  • Prix différents. Le secours facture à ses propres tarifs. DeepInfra affichait un prix promotionnel pour GLM-5.3 le 15 novembre 2026 : revérifiez avant de budgéter. BroadNet facture $0.78 en entrée, $0.173 en entrée en cache et $3.46 en sortie par million de tokens.
  • Caches froids. L’entrée en cache ne passe pas d’un fournisseur à l’autre. Les premières requêtes chez le secours paient le plein tarif d’entrée sur un préfixe qui était en cache chez le fournisseur principal. Voir les tokens d’entrée en cache.
  • Hedging. Envoyer chaque requête à deux fournisseurs à la fois et garder la première réponse réduit la latence de queue, mais double à peu près la facture. Ne l’utilisez que là où la latence le justifie.

Le secours respecte-t-il les mêmes conditions sur les données ?

Un fournisseur de secours est un sous-traitant de plus qui reçoit les mêmes prompts. Si vous avez promis quelque chose à vos clients sur leurs données, la promesse doit tenir pour chaque entrée de la liste.

La déclaration de confidentialité de BroadNet indique : « We do not retain prompts, audio, images, answers or transcripts » (traduction : « Nous ne conservons ni prompts, ni audio, ni images, ni réponses, ni transcriptions »). Le contenu d’inférence n’est pas conservé ; les métadonnées nécessaires de compte, de facturation et de sécurité sont conservées comme le décrit cette déclaration. Elle précise aussi que les données d’inférence ne servent pas à entraîner, affiner ou évaluer des modèles. Selon cette déclaration, les modèles hébergés « run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup » (traduction : « tournent sur du matériel détenu ou loué par BroadNet aux États-Unis, avec des capacités partenaires en secours ») ; DeepSeek V4.1 Flash est hébergé chez un partenaire. Pour les données soumises à des exigences de résidence, les conditions (section 7.3a) demandent de convenir des lieux de traitement avant de les envoyer. Vérifiez les mêmes points chez le secours : conservation, usage pour l’entraînement, localisation et sous-traitants ultérieurs. S’il ne fait pas l’affaire, retirez les requêtes sensibles du chemin de secours et faites-les échouer en mode fermé. La checklist de conservation zéro des données liste les questions à poser.

Faut-il plutôt utiliser une passerelle comme LiteLLM ?

Utilisez une passerelle si plusieurs services ont besoin des mêmes règles de secours. Le proxy de LiteLLM prend une liste fallbacks essayée dans l’ordre. num_retries réessaie un groupe de modèles avant de basculer. allowed_fails et cooldown_time mettent un déploiement défaillant de côté pendant un moment, ce qui fait office de disjoncteur. Des context_window_fallbacks et content_policy_fallbacks distincts gèrent ces types d’erreurs (documentation LiteLLM, vérifiée le 15 novembre 2026) :

model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60

Le guide du proxy LiteLLM montre l’entrée BroadNet en entier. Les deux entrées utilisent le préfixe générique openai/ de LiteLLM avec une api_base, comme dans le guide. Une passerelle ajoute un saut réseau et un composant de plus à maintenir. Pour une seule application, une quarantaine de lignes dans votre client, comme ci-dessus, suffisent.

Comment tester le failover avant d’en avoir besoin ?

  1. Dans une configuration de test, faites pointer le fournisseur principal vers un hôte injoignable et vérifiez que les requêtes arrivent chez le secours.
  2. Envoyez une requête volontairement invalide et vérifiez qu’elle ne bascule pas.
  3. Utilisez une clé principale invalide et vérifiez que le 401 remonte comme une erreur, pas comme un basculement silencieux.
  4. Surveillez le disjoncteur : après trois échecs, le fournisseur principal doit être ignoré sans attendre le timeout.
  5. Déclenchez une alerte quand le secours sert plus qu’une petite part du trafic. Un failover silencieux peut masquer un fournisseur principal défaillant pendant des jours.

Le Router de LiteLLM accepte mock_testing_fallbacks=True dans les tests directs pour forcer un basculement.

La place de BroadNet Inference

BroadRouter est le site web de BroadNet, et BroadNet Inference peut occuper n’importe quelle place dans votre liste. En principal, il vous donne GLM 5.3 et Qwen3.8 27B avec outils et sortie structurée documentés, plus Gemma 4 VL 26B et DeepSeek V4.1 Flash, sur une seule URL de base, sans conservation du contenu. En secours, c’est un endpoint compatible OpenAI de plus à ajouter à la liste. Dans les deux cas, la logique de failover vous appartient : BroadNet ne route pas entre fournisseurs, et le libre-service n’a pas de SLA. Si vous avez besoin de niveaux de service contractuels, ils ne viennent qu’avec un accord écrit distinct. Comparez les modèles, ou créez un compte et testez votre chaîne avec le crédit de départ de $5 sur Gemma 4 VL 26B. GLM 5.3 et Qwen3.8 27B nécessitent une recharge.

Questions fréquentes

Quelles erreurs doivent déclencher un basculement d’API LLM ?

Les erreurs de connexion, les timeouts, les 5xx et les 429 de limite de débit, après les nouvelles tentatives du SDK. Ne basculez pas sur un 400, 401, 402, 403, 413 ou 422 : c’est la requête ou le compte qui pose problème, et le fournisseur suivant échouera de la même façon ou masquera un problème de facturation.

BroadNet bascule-t-il automatiquement vers un autre fournisseur ?

Non. BroadNet Inference ne route pas les requêtes entre modèles ou fournisseurs, et BroadRouter, ce site, est le site d’information de BroadNet, pas un routeur. Vous construisez le secours dans votre client ou dans une passerelle comme LiteLLM.

Puis-je utiliser le même ID de modèle chez tous les fournisseurs ?

Non. Chaque fournisseur nomme différemment le même modèle open-weight. GLM 5.3 s’appelle `broadnet/glm-5.3` chez BroadNet, `zai-org/GLM-5.3` chez DeepInfra et `accounts/fireworks/models/glm-5p3` chez Fireworks (vérifié le 15 novembre 2026). Tenez une table de correspondance par fournisseur.

Les tentatives échouées coûtent-elles de l’argent ?

Cela peut arriver. Un timeout de votre côté ne prouve pas que le fournisseur a arrêté le travail, et avec la facturation au token, chaque nouvelle tentative est une nouvelle inférence. Prévoyez quelques requêtes facturées deux fois et plafonnez les tentatives par requête.

Un fournisseur de secours doit-il avoir les mêmes conditions de confidentialité ?

Oui. Un secours est un sous-traitant de plus qui voit les mêmes prompts. Vérifiez ses conditions de conservation, d’entraînement et de lieu de traitement avant de l’ajouter, sinon votre promesse de confidentialité ne tient que tant que le fournisseur principal fonctionne.

BroadNet a-t-il un SLA ?

Pas en libre-service. Les conditions de BroadNet (section 7.4) indiquent que le libre-service n’a aucun engagement de disponibilité ; les niveaux de service n’existent que dans un accord écrit distinct.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity