Wenn eine API „langsamer“ sagt, macht ein sofortiger Retry alles schlimmer. Exponentieller Backoff wartet jedes Mal länger.
So funktioniert es
Warten Sie nach einem Fehler eine Basiszeit und verdoppeln Sie sie bei jedem neuen Fehler, bis zu einem Maximum. Mit 1 Sekunde Basis und 32 Sekunden Obergrenze lauten die Wartezeiten 1, 2, 4, 8, 16, 32, 32 Sekunden. Hören Sie nach einer festen Zahl von Versuchen auf und geben Sie den Fehler weiter.
Backoff allein reicht nicht. Scheitern 100 Clients im selben Moment, wiederholen sie auch alle in denselben Momenten. Marc Brookers AWS-Beitrag vergleicht „Full Jitter“ (eine zufällige Wartezeit zwischen null und der aktuellen Obergrenze), „Equal Jitter“ und „Decorrelated Jitter“. Equal Jitter schnitt am schwächsten ab, und Full Jitter „uses less work, but slightly more time“ (Übersetzung: „verursacht weniger Arbeit, braucht aber etwas mehr Zeit“). Sein Fazit: Backoff mit Jitter „should be considered a standard approach for remote clients“ (Übersetzung: „sollte als Standardansatz für entfernte Clients gelten“).
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
Warum es wichtig ist
- Auch 429 zählen. Der Leitfaden von OpenAI zu Rate Limits warnt: „unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work“ (Übersetzung: „erfolglose Anfragen zählen zu Ihrem Limit pro Minute; eine Anfrage ständig neu zu senden funktioniert also nicht“). Wer ein Rate Limit mit Anfragen bombardiert, bleibt ausgesperrt.
- Retries vervielfachen sich. Die Builders’ Library von AWS merkt an, dass Retries „selfish“ (Übersetzung: „egoistisch“) sind, und empfiehlt, an einer einzigen Stelle im Stack zu wiederholen; Retries auf jeder Ebene können die Last um ein Vielfaches erhöhen.
- Nebenwirkungen. Einen Aufruf zu wiederholen, der Geld kostet, ist nur mit einem Idempotency Key sicher.
- Vorbeugen schlägt Wiederholen. Begrenzen Sie die offenen Anfragen unter Ihrem Concurrency-Limit, damit 429 von vornherein selten bleiben.
Bei BroadNet Inference
Die Fehlertabelle von BroadNet empfiehlt, auf ein 429 mit „response details and bounded backoff“ (Übersetzung: „den Details der Antwort und begrenztem Backoff“) zu reagieren und 500, 502, 503 und 504 „with bounded exponential backoff“ (Übersetzung: „mit begrenztem exponentiellem Backoff“) zu wiederholen. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig offene. Bei 400, 401, 403, 413 und 422 beheben Sie zuerst die Ursache. Bewahren Sie den Header X-Request-ID für den Support auf. Die Anleitung zu Fehlercodes und Retries setzt die Retry-Zahlen der SDKs, und Umgang mit 429 bei LLM-APIs enthält Code für Limiter und Warteschlange. Der Rate-Limit-Rechner zeigt, wie viel Traffic unter ein Limit passt.