BroadRouter

LLM-API-Fehler 429 behandeln: Backoff, Jitter und Limiter

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht · Aktualisiert

Ein 429 bedeutet, dass Sie ein Rate-, Parallelitäts- oder Ausgabenlimit erreicht haben. Wiederholen Sie die Anfrage mit gedeckeltem exponentiellem Backoff und zufälligem Jitter, und beachten Sie Retry-After, falls gesendet. Verhindern Sie dann die meisten 429-Fehler: Begrenzen Sie laufende Anfragen per Semaphore auf das Limit des Schlüssels und stellen Sie den Rest in eine Warteschlange. 5xx wiederholen Sie genauso; andere 4xx-Fehler beheben Sie.

Ein 429 bedeutet, dass Ihr Traffic ein Rate Limit überschritten hat: Anfragen pro Minute, gleichzeitige Anfragen, Tokens pro Minute oder Ausgaben. Die Lösung hat zwei Hälften. Richtig wiederholen: gedeckeltes exponentielles Backoff mit zufälligem Jitter, unter Beachtung von Retry-After. Weniger auf einmal senden: eine Semaphore auf dem Limit gleichzeitiger Anfragen des Schlüssels, dazu eine Warteschlange. Beides folgt unten, mit Code.

Eine vollständige Übersicht der Statuscodes finden Sie im Leitfaden zu Fehlern und Retries; für stundenlange Agentenläufe mit Checkpoints und Timeouts siehe Langlaufende Agenten: Timeouts und Retries.

Was ist der Unterschied zwischen 429 und 5xx?

Status Wessen Problem Wiederholen? Wie
429 Ihr Traffic hat ein Limit überschritten Ja Backoff mit Jitter; Retry-After beachten; Parallelität senken
500 / 502 / 503 / 504 Serverseite Ja Begrenztes exponentielles Backoff
Verbindungsabbruch, Timeout Netzwerk oder Server Meistens Backoff; bei Streams nur, wenn eine neue Abrechnung akzeptabel ist
400 / 422 Fehlerhafte Anfrage Nein Payload korrigieren
401 / 402 / 403 Schlüssel, Guthaben oder Richtlinie Nein Schlüssel korrigieren, Konto aufladen, Allowlist anpassen
413 Anfrage zu groß Nein Verkleinern

Bei BroadNet Inference kann ein 429 eines von vier Limits bedeuten: Rate, Parallelität, Token-Rate oder Ausgaben. Ein Ausgabenlimit löst sich nicht nach 30 Sekunden auf. Die Dokumentation von BroadNet sagt nicht, welches Feld im Fehler-Body das Limit nennt; loggen Sie also den Body und vergleichen Sie ihn mit den Limits in den Details Ihres Schlüssels.

Unser offener Datensatz zu Free Tiers und Rate Limits von LLM-APIs vergleicht, was 14 Anbieter zu kostenlosem Zugang, anfänglichen Rate Limits, Kreditkartenpflicht und Training mit Free-Tier-Daten veröffentlichen, mit Quelle und Datum für jeden Wert.

Welche Limits verursachen 429-Fehler?

Kennen Sie die Zahlen, gegen die Sie arbeiten. Bei BroadNet Inference:

Schlüsseltyp Anfragen / Minute Gleichzeitig Sonstiges
Pay-as-you-go 30 4 Gemeinsames Ausgabenbudget
Stundenschlüssel 120 1 Stream 300,000 Tokens / Minute
Session eines unbegrenzten Plans — 1 Anfrage pro Session Kein Token-Zähler

Für LLMs zählt die Zahl gleichzeitiger Anfragen am meisten. Eine gestreamte Antwort belegt ihren Slot, bis das letzte Token eintrifft; eine lange Antwort hält ihn also so lange besetzt, wie das Modell zum Schreiben braucht (BroadNet nennt eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde). Senden Sie mehr parallele Aufrufe, als der Schlüssel Slots hat (4), erhalten die überzähligen 429, obwohl Sie in dieser Minute nur eine Handvoll Anfragen gesendet haben. Das ist ein Problem der Parallelität, und Backoff allein löst es schlecht. Um Worker vor dem Start auf ein Limit auszulegen, nutzen Sie den kostenlosen Rate-Limit-Rechner für LLMs. Für einen festen Job mit vielen Einträgen rechnet der Planer für LLM-Batch-Jobs dieselben Limits in eine Laufzeit um. Andere Anbieter zählen anders (Tokens pro Minute, Anfragen pro Tag oder gleichzeitige Anfragen); Rate Limits von LLM-APIs nach Anbieter vergleicht 13 davon anhand ihrer eigenen Dokumentation.

Wie schreiben Sie Backoff mit Jitter?

Einfaches exponentielles Backoff wartet 1, 2, 4, 8 Sekunden. Wurden hundert Worker im selben Moment gedrosselt, kommen sie alle im selben Moment zurück. Die Simulation von AWS mit 100 konkurrierenden Clients ergab, dass Full Jitter die Zahl der Aufrufe mehr als halbierte und früher fertig wurde als Backoff ohne Jitter. Die einfachste Variante, Full Jitter, wartet eine zufällige Zeit zwischen null und der exponentiellen Obergrenze:

import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)

RETRYABLE = {429, 500, 502, 503, 504}

def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(**kwargs)
        except (RateLimitError, APIStatusError, APIConnectionError) as e:
            status = getattr(e, "status_code", None)
            if status is not None and status not in RETRYABLE:
                raise  # 400, 401, 403...: retrying will not help
            if attempt == max_attempts - 1:
                raise
            retry_after = None
            if getattr(e, "response", None) is not None:
                retry_after = e.response.headers.get("retry-after")
            wait = random.uniform(0, min(cap, base * 2 ** attempt))
            if retry_after and retry_after.isdigit():
                wait = max(wait, float(retry_after))
            time.sleep(wait)

max_retries=0 schaltet die eigenen Retries des SDK ab, damit Sie nicht doppelt wiederholen. Wenn Ihnen das eingebaute Verhalten des SDK genügt, geht es auch umgekehrt: Lassen Sie Ihre Schleife weg und setzen Sie max_retries=4 am Client, wie der Leitfaden zum Python SDK zeigt. Die offiziellen SDKs für Python und Node wiederholen Verbindungsfehler, 408, 409, 429 und 5xx standardmäßig zweimal.

Retry-After ist ein Standard-Header (RFC 9110), der Sekunden oder ein Datum enthalten kann. Die Dokumentation von BroadNet sichert ihn nicht zu, daher behandelt der Code ihn als optional.

Wie verhindern Sie 429-Fehler, bevor sie entstehen?

Begrenzen Sie die gleichzeitigen Anfragen auf das Limit des Schlüssels. In Python erledigt das eine asyncio.Semaphore mit einem Objekt und einem async with-Block. Der Code verwendet 4 als Beispiel; setzen Sie den Wert auf das Limit gleichzeitiger Anfragen Ihres Schlüssels (4 bei einem Pay-as-you-go-Schlüssel von BroadNet):

import asyncio, os
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4)  # match the key's in-flight limit

async def ask(prompt):
    async with slots:
        r = await client.chat.completions.create(
            model="broadnet/gemma-4-26b-a4b",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main(prompts):
    return await asyncio.gather(*(ask(p) for p in prompts))

results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))

gather startet jede Aufgabe, aber nur so viele laufen gleichzeitig, wie die Semaphore zulässt. Der Rest wartet in der Warteschlange der Semaphore. In Node leistet das Paket p-limit dasselbe, wieder mit 4 als Beispielwert:

// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit

async function ask(prompt) {
  const r = await client.chat.completions.create({
    model: "broadnet/gemma-4-26b-a4b",
    messages: [{ role: "user", content: prompt }],
  });
  return r.choices[0].message.content;
}

const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));

Für eine zusätzliche Obergrenze pro Minute ergänzen Sie einen Token Bucket, der alle 60 / rpm Sekunden eine Freigabe erteilt, wobei rpm das Limit Ihres Schlüssels für Anfragen pro Minute ist (30 bei einem Pay-as-you-go-Schlüssel von BroadNet).

Wann brauchen Sie eine echte Warteschlange?

Eine Semaphore lebt in einem Prozess. Sobald sich mehrere Worker oder Server einen Schlüssel teilen, ist das Limit geteilt, und jeder Prozess sieht nur seinen eigenen Traffic. Dann gilt:

  1. Legen Sie Jobs in eine gemeinsame Warteschlange (Redis, SQS, eine Datenbanktabelle).
  2. Betreiben Sie eine feste Zahl von Consumern, gleich dem Limit gleichzeitiger Anfragen des Schlüssels.
  3. Geben Sie jedem Job eine ID und speichern Sie Ergebnisse nach ID, damit ein wiederholter Job nicht zweimal läuft.
  4. Leiten Sie interaktiven Traffic und Batch-Traffic über getrennte Schlüssel oder getrennte Warteschlangen, damit ein Batch-Rückstau nie einen Nutzer blockiert, der auf eine Antwort wartet.

Für einen Massenjob mit Tausenden von Einträgen ohne Batch API siehe den fortsetzbaren Batch-Runner.

Welche Retry-Fehler machen aus 429-Fehlern Ausfälle?

  • Unbegrenzte Retries. Eine Retry-Schleife ohne Obergrenze vervielfacht während eines langen Ausfalls Ihre Last und, bei Abrechnung pro Token, Ihre Rechnung.
  • Einen halb fertigen Stream blind wiederholen. Hat der Stream bereits Tokens geliefert, ist ein Retry eine neue Inferenz, und der Nutzer sieht den Text womöglich doppelt. Wie Sie unvollständige Streams erkennen, zeigt der Beitrag zu Streaming.
  • Kontofehler wiederholen. Ein 401 wegen eines aufgebrauchten Pay-as-you-go-Kontingents oder ein 402 wegen unzureichenden Guthabens behebt sich nicht von selbst.

Loggen Sie jeden Retry mit Status, Wartezeit und dem Response-Header X-Request-ID, den Sie laut der Dokumentation von BroadNet für den Support aufbewahren sollen. Eine steigende Retry-Quote ist die früheste Warnung, dass Sie mehr Kapazität brauchen; Nutzungs-Logging zeigt, wie Sie sie erfassen.

Wo BroadNet Inference hineinpasst

Die Limits von BroadNet sind veröffentlicht und klein genug, um gezielt dagegen zu entwerfen: 4 gleichzeitige Anfragen bei einem Pay-as-you-go-Schlüssel. Das passt zu Apps und Agenten und ist zu eng für einen Massenjob, der Hunderte paralleler Aufrufe auf einem Schlüssel braucht. Für Agenten hat ein unbegrenzter Plan keinen Token-Zähler und verarbeitet eine Anfrage gleichzeitig pro Session; für parallele Arbeit fügen Sie Sessions hinzu, wie unter parallele Coding-Agenten betreiben beschrieben. Die aktuellen Limits stehen in der API-Referenz.

Häufige Fragen

Was bedeutet HTTP 429 bei einer LLM-API?

Too Many Requests. Sie haben ein Limit für Anfragen pro Minute, gleichzeitige Anfragen, Tokens pro Minute oder Ausgaben überschritten. Die Anfrage wurde nicht verarbeitet, Sie können sie nach einer Wartezeit also gefahrlos erneut senden.

Wie lange sollte ich nach einem 429 warten, bevor ich es erneut versuche?

Nutzen Sie Retry-After, wenn der Server den Header sendet. Andernfalls beginnen Sie bei etwa einer Sekunde, verdoppeln bei jedem Versuch, deckeln bei rund 30 bis 60 Sekunden und wählen eine zufällige Wartezeit zwischen null und dieser Obergrenze. Hören Sie nach vier bis sechs Versuchen auf.

Sollte ich 500- und 503-Fehler einer LLM-API wiederholen?

Ja, mit demselben begrenzten Backoff. Sie liegen auf der Serverseite. Ein 400, 401, 403 oder 422 scheitert jedes Mal auf dieselbe Weise; beheben Sie stattdessen die Ursache.

Wiederholt das OpenAI SDK 429-Fehler automatisch?

Ja. Die offiziellen SDKs für Python und Node wiederholen Verbindungsfehler, 408, 409, 429 und 5xx standardmäßig zweimal mit kurzem exponentiellem Backoff. Erhöhen Sie max_retries für Batch-Jobs und ergänzen Sie ein eigenes Parallelitätslimit.

Warum bekomme ich 429, obwohl ich unter dem Limit für Anfragen pro Minute liege?

Meist wegen des Parallelitätslimits. Lange Streaming-Antworten bleiben viele Sekunden aktiv, sodass schon wenige parallele Aufrufe die Obergrenze gleichzeitiger Anfragen erreichen können, während die Zahl pro Minute niedrig aussieht.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen