BroadRouter
Loslegen

Rate Limit (Ratenbegrenzung)

Aktualisiert

Ein Rate Limit ist eine Obergrenze, die eine API festlegt, wie stark ein Client sie in einem Zeitfenster nutzen darf, etwa Anfragen pro Minute oder Tokens pro Minute. Anfragen über dem Limit werden abgelehnt, meist mit HTTP 429 Too Many Requests, bis die Nutzung wieder darunter liegt.

Auch genannt: Ratenbegrenzung, Ratenlimit, Anfragelimit, Drosselung, RPM, TPM, Anfragen pro Minute, Tokens pro Minute, HTTP 429, rate limit, requests per minute, tokens per minute, throttling

Jede gemeinsam genutzte API schützt sich mit Limits. Wer weiß, welche gelten, weiß auch, wie schnell er sein kann und was zu tun ist, wenn er an eines stößt.

So funktioniert es

LLM-APIs messen mehrere Dinge gleichzeitig. OpenAI nennt zum Beispiel:

  • RPM: Anfragen pro Minute
  • RPD: Anfragen pro Tag
  • TPM: Tokens pro Minute
  • TPD: Tokens pro Tag

Es gilt das Limit, das Sie zuerst erreichen. Viele Anbieter begrenzen außerdem die Parallelität, also die Zahl der gleichzeitig laufenden Anfragen.

Über dem Limit liefert der Server 429 Too Many Requests. MDN beschreibt das so, dass der Client „sent too many requests in a given amount of time“ (Übersetzung: „in einem bestimmten Zeitraum zu viele Anfragen gesendet hat“). Ein Header Retry-After kann angeben, wie viele Sekunden Sie warten sollen.

Eine sichere Retry-Schleife:

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

Die offiziellen OpenAI-SDKs wiederholen 429- und 5xx-Fehler bereits mit Backoff; setzen Sie max_retries, statt eine eigene Schleife zu schreiben.

Warum es wichtig ist

  • Durchsatz. Ihre tatsächliche Obergrenze ist das niedrigste aller Limits. Bei einem Schlüssel mit 30 Anfragen pro Minute, wie bei den Pay-as-you-go-Schlüsseln von BroadNet, dauern 1.000 Anfragen mindestens 1.000 ÷ 30 Minuten, egal wie schnell das Modell ist. Der Rate-Limit-Rechner rechnet das für Ihre eigenen Limits aus.
  • Zuverlässigkeit. Unbehandelte 429-Fehler sehen aus wie Ausfälle. Backoff macht daraus kurze Verzögerungen.
  • Kosten. Manche Anbieter liefern 429 auch bei Ausgabenlimits, häufig bei Pay-as-you-go-Schlüsseln. Lesen Sie den Fehler-Body, bevor Sie es erneut versuchen.

Bei BroadNet Inference

Schlüsseltyp Limits
Pay-as-you-go 30 Anfragen pro Minute, 4 gleichzeitig laufende
Stundenschlüssel 120 Anfragen pro Minute, ein Stream, 300,000 Tokens pro Minute
Unbegrenzter Plan Eine Anfrage gleichzeitig pro Session, kein Token-Zähler

BroadNet liefert 429, wenn ein Raten-, Parallelitäts-, Token-Raten- oder Ausgabenlimit erreicht ist. Warten Sie mit Backoff und versuchen Sie es erneut. Die Anleitung zu Fehlern und Retries behandelt jeden Statuscode, und was „unbegrenzt“ wirklich bedeutet erklärt, welche Limits ein Flatrate-Plan weiterhin hat.

Häufige Fehler

  • 401- oder 403-Fehler wiederholen. Das sind Probleme mit Schlüssel oder Richtlinie, keine Rate Limits.
  • Viele Worker mit einem Schlüssel ohne gemeinsamen Limiter betreiben. Jeder Worker wartet für sich, während die anderen den Schlüssel weiter auslasten.

Häufige Fragen

Soll ich einen 429-Fehler wiederholen?

Ja, nach einer Wartezeit. Folgen Sie dem Header Retry-After, falls vorhanden; sonst nutzen Sie exponentielles Backoff mit zufälligem Jitter und begrenzen die Zahl der Versuche. Wiederholen Sie keine Fehler wegen Ausgabenlimit oder Abrechnung, die denselben Statuscode verwenden.

Zählen fehlgeschlagene Anfragen zum Limit?

Oft ja. Laut dem Leitfaden von OpenAI zählen fehlgeschlagene Anfragen weiterhin zu den Limits pro Minute. Sofortige Retries in einer Schleife machen es also schlimmer.

Was ist der Unterschied zwischen einem Rate Limit und einem Parallelitätslimit?

Ein Rate Limit zählt Anfragen oder Tokens über die Zeit. Ein Parallelitätslimit zählt Anfragen, die im selben Moment laufen. Ein Schlüssel kann an jedes der beiden zuerst stoßen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen