Quand une API dit « ralentissez », réessayer tout de suite aggrave la situation. Le backoff exponentiel attend un peu plus longtemps à chaque fois.
Comment ça marche
Après un échec, attendez un délai de base, puis doublez-le à chaque nouvel échec, jusqu’à un maximum. Avec une base de 1 seconde et un plafond de 32 secondes, les attentes sont de 1, 2, 4, 8, 16, 32, 32 secondes. Arrêtez après un nombre fixe de tentatives et remontez l’erreur.
Le backoff seul ne suffit pas. Si 100 clients échouent au même moment, ils réessaient tous aux mêmes moments. L’article de Marc Brooker sur le blog d’AWS compare « Full Jitter » (une attente aléatoire entre zéro et le plafond courant), « Equal Jitter » et « Decorrelated Jitter ». Equal Jitter s’en sort le moins bien, et Full Jitter « uses less work, but slightly more time » (traduction : « demande moins de travail, mais un peu plus de temps »). Sa conclusion : le backoff avec jitter « should be considered a standard approach for remote clients » (traduction : « devrait être considéré comme l’approche standard pour les clients distants »).
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
Pourquoi c’est important
- Les 429 comptent aussi. Le guide d’OpenAI sur les limites de débit prévient que « unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work » (traduction : « les requêtes en échec comptent dans votre limite par minute : renvoyer une requête en boucle ne fonctionnera donc pas »). Marteler une limite de débit vous maintient bloqué.
- Les retries se multiplient. La Builders’ Library d’AWS note que les retries sont « selfish » (traduction : « égoïstes ») et recommande de relancer à un seul endroit de la pile ; relancer à chaque couche peut multiplier la charge de nombreuses fois.
- Effets de bord. Relancer un appel qui coûte de l’argent n’est sûr qu’avec une clé d’idempotence.
- Mieux vaut prévenir que relancer. Plafonnez les requêtes en cours sous votre limite de concurrence, pour que les 429 restent rares dès le départ.
Sur BroadNet Inference
Le tableau des erreurs de BroadNet recommande de répondre à un 429 avec « response details and bounded backoff » (traduction : « les détails de la réponse et un backoff borné ») et de relancer les 500, 502, 503 et 504 « with bounded exponential backoff » (traduction : « avec un backoff exponentiel borné »). Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. Pour les erreurs 400, 401, 403, 413 et 422, corrigez d’abord la cause. Conservez l’en-tête X-Request-ID pour le support. Le guide des erreurs et des retries règle le nombre de retries des SDK, et gérer les 429 des API de LLM fournit du code de limiteur et de file d’attente. Le calculateur de limite de débit montre quel trafic tient sous une limite.