Wer nach „Rate Limits LLM API“ sucht, findet Blog-Tabellen, die sich gegenseitig widersprechen, oft weil sie alte Zahlen abschreiben. Diese Seite liest jeden Wert am 15. November 2026 aus der Dokumentation des jeweiligen Anbieters ab, nennt Stufe und Modell, für die er gilt, und lässt eine Zelle leer, wenn der Anbieter keinen Wert veröffentlicht. Dieselben Daten als herunterladbaren Datensatz, mit kostenlosem Guthaben und Bedingungen zur Datennutzung, finden Sie unter Free Tiers und Rate Limits von LLM-APIs. BroadRouter ist die eigene Website von BroadNet, und die Limits von BroadNet stehen ebenfalls in der Tabelle.
Was bedeuten RPM, TPM, RPD und Parallelität?
Ein Rate Limit begrenzt, wie viel Sie in einem Zeitfenster senden dürfen. Die Anbieter zählen Unterschiedliches:
| Limit | Was es zählt | Trifft Sie am stärksten, wenn |
|---|---|---|
| RPM, Anfragen pro Minute | In einer Minute gestartete Anfragen | Sie viele kurze Aufrufe senden (Klassifizierung, Schleifen im Stil von Embeddings) |
| RPS, Anfragen pro Sekunde | Dasselbe, über eine Sekunde | Sie in Schüben senden, auch wenn der Minutendurchschnitt niedrig ist |
| TPM, Tokens pro Minute | In einer Minute verarbeitete Tokens, manchmal getrennt nach Input (ITPM) und Output (OTPM) | Sie lange Prompts oder lange Dokumente senden |
| RPD / TPD, pro Tag | Anfragen oder Tokens an einem Tag | Sie einen Batch-Job in einem Free Tier ausführen |
| Parallelität | Im selben Moment laufende Anfragen | Anfragen langsam sind: Reasoning, lange Outputs, Agenten |
Welches Limit greift, hängt von der Form Ihrer Anfragen ab. Bei Parallelitätslimits hängt der Durchsatz von der Dauer der Anfragen ab: Die Doku von DeepInfra rechnet vor, dass 200 gleichzeitige Anfragen bei durchschnittlich einer Sekunde etwa 12.000 RPM ergeben. Eine 30-sekündige Reasoning-Anfrage bei derselben Parallelität ergibt nur einen Bruchteil davon.
Die meisten Anbieter setzen Limits außerdem über kürzere Zeitfenster durch, als sie veröffentlichen. Anthropic schreibt, ein Limit von 60 RPM „might be enforced as 1 request per second“ (Übersetzung: könnte als 1 Anfrage pro Sekunde durchgesetzt werden), und xAI leitet sein Sekundenlimit aus dem Minutenbudget ab („RPM / 48, with a minimum of 2“; Übersetzung: RPM / 48, mindestens 2).
Wie funktionieren Nutzungsstufen?
Die großen Anbieter geschlossener Modelle heben Ihre Limits an, je mehr Sie ausgeben:
| Anbieter | Stufen (geprüft am 2026-11-15) | Wie Sie aufsteigen |
|---|---|---|
| OpenAI | Free, Build, Launch, Grow | Free: Nutzer muss in einer zugelassenen Region sein; monatliches Nutzungslimit 100 USD (eine Ausgabengrenze, kein Guthaben). Danach Guthabenkäufe von insgesamt 5 USD, 100 USD und 500 USD, mit monatlichen Nutzungslimits von 500 USD, 5.000 USD und 200.000 USD |
| Anthropic | Evaluation, Start, Build, Scale, Custom | Automatisch, nach Nutzungshistorie und Kontostatus. Monatliche Ausgabenobergrenzen: Start 500 USD, Build 1.000 USD, Scale 200.000 USD |
| Google Gemini API | Free, Tier 1, Tier 2, Tier 3 | Tier 1 erfordert ein verknüpftes Rechnungskonto; Tier 2 erfordert 100 USD bezahlt plus 3 Tage; Tier 3 1.000 USD plus 30 Tage. Google nennt die angegebenen Rate Limits „not guaranteed“ (Übersetzung: nicht garantiert) und gibt bei Erhöhungsanfragen „no guarantees“ (Übersetzung: keine Garantien) |
| Fireworks AI | Tier 1 bis Tier 4 | Zahlungsmethode für Tier 1, dann 50 USD, 500 USD und 5.000 USD an Ausgaben oder Guthaben. Die Stufen erhöhen TPM, nicht RPM |
| xAI | Tier 0 bis Tier 4, Enterprise | Kumulierte Ausgaben seit dem 1. Januar 2026: 0, 50, 250, 1.000 und 5.000 USD |
Zwei Details zählen in der Praxis. Die Ausgabenobergrenze von Anthropic liefert beim Erreichen HTTP 429 ohne retry-after-Header; automatische Retries scheitern also weiter, bis der Monat zurückgesetzt wird oder Sie die Stufe wechseln. Und das Input-Limit von Anthropic zählt nur nicht gecachten Input: Cache-Lesezugriffe zählen nicht, eine hohe Cache-Quote erhöht also Ihren tatsächlichen Durchsatz.
Rate Limits von LLM-APIs nach Anbieter: die Einstiegsstufe
Werte für die kostenlose oder erste bezahlte Stufe jedes Anbieters, von dessen eigener Rate-Limit-Seite. Ein Strich bedeutet, dass die Seite für dieses Limit keine Zahl veröffentlicht; er bedeutet nicht unbegrenzt.
| Anbieter | Stufe und Modell | RPM | TPM | Pro Tag | Parallelität |
|---|---|---|---|---|---|
| OpenAI | Build; Astra, Sol, Terra | 5.000 | 1.000.000 | – | – |
| OpenAI | Build; Luna | 5.000 | 2.000.000 | – | – |
| Anthropic | Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 | 4.000 | 2.000.000 Input (nicht gecacht), 400.000 Output | – | – |
| Google Gemini API | Free; Gemini Decision 1 (einziges Modell mit kostenlosen Werten auf der Seite) | 200 | 50.000 | 10.000 Anfragen | – |
| Google Gemini API | Tier 1; Gemini Decision 1 | 1.500 | 1.000.000 | 50.000 Anfragen | – |
| Groq | Tabelle des Free Plan; openai/gpt-oss-120b, qwen/qwen3.8-27b | 30 | 8.000 | 1.000 Anfragen, 200.000 Tokens | – |
| Groq | Tabelle des Developer Plan; openai/gpt-oss-120b, qwen/qwen3.8-27b | 1.000 | 250.000 | 500.000 Anfragen | – |
| Cerebras | Free Trial; gpt-oss-120b | 5 | 30.000 nicht gecacht (90.000 insgesamt) | 1.000.000 Tokens | – |
| Cerebras | Developer (Pay-as-you-go); gpt-oss-120b | 1.000 | 500.000 nicht gecacht (1.500.000 insgesamt) | Keine Obergrenze | – |
| Fireworks AI | Ohne Zahlungsmethode oder Guthaben; kontoweit | 10 | – | – | – |
| Fireworks AI | Mit Zahlungsmethode und Guthaben; kontoweit | 6.000 | Nach Ausgabenstufe | – | – |
| DeepInfra | Standard; pro öffentlichem Modell | – | – | – | 200 |
| DeepSeek | Standard; deepseek-flash (DeepSeek-V4.1-Flash-1017), pro Konto |
– | – | – | 2.500 |
| DeepSeek | Standard; deepseek-v4-pro (DeepSeek-V4-Pro-0813), pro Konto |
– | – | – | 500 |
| xAI | Tier 0; grok-4.7 (150 RPS) | – | 50.000.000 | – | – |
| OpenRouter | :free-Modelle, unter 10 USD an gekauften Credits | 20 | – | 50 Anfragen | – |
| OpenRouter | :free-Modelle, 10 USD oder mehr an gekauften Credits | 20 | – | 1.000 Anfragen | – |
| Cohere | Trial-Schlüssel; Command A | 20 | – | 1.000 Aufrufe pro Monat | – |
| Cohere | Production-Schlüssel; Command A | 500 | – | – | – |
| BroadNet Inference | Pay-as-you-go-Schlüssel; jedes Modell | 30 | – | – | 4 |
| BroadNet Inference | Stundenschlüssel; Gemma 4 VL 26B | 120 | 300,000 | – | 1 Stream |
| BroadNet Inference | Session eines Flatrate-Plans; DeepSeek V4.1 Flash | – | Kein Token-Zähler | – | 1 Anfrage gleichzeitig |
Hinweise zu den Zeilen:
- Groq. Die Seite hat zwei Reiter, „Free Plan Limits“ (standardmäßig geöffnet) und „Developer Plan Limits“. Der Satz darüber nennt die Werte „the base limits for the Developer plan“ (Übersetzung: die Basislimits des Developer-Plans), was nur auf den zweiten Reiter passt; die Tabelle oben zeigt beide. Die genauen Limits Ihrer Organisation stehen auf deren Limits-Seite.
- Google. Die Limits gelten pro Projekt, nicht pro API-Schlüssel. Die Werte der meisten Modelle erscheinen nur in AI Studio. Gemini Decision 1 ist ein Klassifizierungsmodell für Googles Decisions API: Es liefert Wahrscheinlichkeiten statt Text, daher sagen seine Limits wenig über die Gemini-Chatmodelle.
- Mistral und Together AI veröffentlichen keine Zahlen. Mistral zeigt Ihre Limits in der Konsole, statt eine Tabelle zu veröffentlichen, und bietet keinen kostenlosen API-Zugang („It doesn’t include API access“; Übersetzung: Er umfasst keinen API-Zugang). Together schreibt, dass es bei hoher Nachfrage „may limit requests“ (Übersetzung: Anfragen begrenzen kann), und setzt für beliebte Modelle unter Umständen eigene Limits.
- OpenRouter. Bezahlte Modellvarianten haben „no platform-level request cap“ (Übersetzung: keine Anfrageobergrenze auf Plattformebene), aber die Anbieter hinter jedem Modell haben weiterhin eigene Limits.
- DeepSeek. Bei hoher Last hält DeepSeek die Verbindung mit leeren Zeilen oder
: keep-alive-Kommentaren offen und schließt sie, wenn die Inferenz nicht innerhalb von 10 Minuten begonnen hat. Stellen Sie den Timeout Ihres Clients darauf ein.
Wie schneiden die Limits von BroadNet ehrlich gesagt ab?
Für Arbeit mit hohem Volumen sind sie niedrig. Ein Pay-as-you-go-Schlüssel von BroadNet erlaubt 30 Anfragen pro Minute und 4 gleichzeitig, während die ersten bezahlten Stufen von OpenAI und Anthropic Tausende Anfragen pro Minute erlauben und Fireworks 6.000, sobald eine Karte hinterlegt ist. Wenn Sie Tausende kurze Anfragen pro Minute über einen Schlüssel schicken müssen, passt die bezahlte Stufe eines großen Anbieters besser.
Zu anderen Lastprofilen passen die Limits:
- Agenten und Chat. Ein Agent sendet eine Anfrage nach der anderen und wartet. 4 gleichzeitige Anfragen reichen für einige Agenten pro Schlüssel; ein Schlüssel pro App oder Teammitglied verteilt die Last.
- Flatrate-Pläne. Eine Session von Full Moon, Orbit oder Meteor hat keinen Token-Zähler und keine Tages- oder Wochenobergrenze, verarbeitet aber eine Anfrage gleichzeitig bei einer typischen Geschwindigkeit von etwa 100 Tokens pro Sekunde. Um Agenten parallel laufen zu lassen, kaufen Sie für jeden eine Session. Wie viele Sessions Sie brauchen.
- Stundenschlüssel. Für $0.50 pro Stunde erhalten Sie einen Gemma-4-VL-26B-Stream mit 120 Anfragen und 300,000 Tokens pro Minute.
Alle Limits von BroadNet liefern HTTP 429. Die API-Referenz nennt kein retry-after-Timing; nutzen Sie also begrenztes Backoff mit Jitter.
Wie planen Sie um ein Rate Limit herum?
- Finden Sie Ihr bindendes Limit. Ermitteln Sie Anfragen pro Minute, Tokens pro Minute und gleichzeitige Anfragen für Ihren Spitzen-Traffic. Der Rate-Limit-Rechner für LLMs rechnet das aus Anfragegröße und Latenz aus.
- Drosseln Sie im Client. Ein Token Bucket, der dem veröffentlichten Limit entspricht, vermeidet die meisten 429-Fehler. Anthropic nutzt serverseitig denselben Algorithmus.
- Lesen Sie die Header. Anthropic liefert
anthropic-ratelimit-*-Header; Groq liefertx-ratelimit-*-Header, wobei sich sein Anfrage-Header „always refers to Requests Per Day“ (Übersetzung: bezieht sich immer auf Anfragen pro Tag). Nutzen Sieretry-after, wenn vorhanden. - Wiederholen Sie mit Backoff und Jitter, und begrenzen Sie die Retries. 429-Fehler behandeln enthält funktionierenden Code, und Fehler und Retries behandelt die Statuscodes von BroadNet.
- Cachen Sie stabile Präfixe. Bei Anthropic zählt gecachter Input nicht zum Input-Limit. Überall senkt er die Kosten.
- Verteilen Sie Massenjobs. Anthropic wendet außerdem Ramp-Limits an: Ein plötzlicher Traffic-Sprung kann unterhalb Ihres Limits 429 auslösen. Starten Sie Batch-Jobs langsam. Ohne Batch API hält ein fortsetzbarer Batch-Runner einen Job innerhalb seiner Limits.
- Fragen Sie nach mehr. DeepSeek, DeepInfra, Mistral und Anthropic beschreiben alle einen Weg, höhere Limits zu beantragen.
Wo BroadNet Inference passt
BroadRouter ist die eigene Website von BroadNet; gewichten Sie diesen Abschnitt entsprechend. BroadNet Inference ist nicht die Wahl für sehr hohe Anfrageraten über einen Schlüssel: Die veröffentlichten Limits pro Schlüssel liegen deutlich unter den bezahlten Stufen von OpenAI, Anthropic, Fireworks oder Cerebras. Es passt zu Agenten- und Chat-Workloads, die wenige Anfragen gleichzeitig senden, besonders mit einem Flatrate-Plan, bei dem ein ausgelasteter Agent weder Token-Zähler noch Tagesobergrenze hat. Neue Konten erhalten $5 Startguthaben für Gemma 4 VL 26B, die beiden Transkriptionsmodelle und Gemma-Stundenschlüssel; DeepSeek, GLM und Qwen erfordern eine Aufladung. Self-Service hat kein SLA. Die API-Limits lesen oder Pläne vergleichen.
