---
title: "Was ist Concurrency bei LLM-APIs? Limit paralleler Anfragen"
description: "Concurrency ist die Zahl gleichzeitig laufender Anfragen. Warum LLM-APIs sie begrenzen, wie sie mit Rate Limits und Latenz zusammenhängt und wie Sie Worker planen."
url: https://broadrouter.com/de/glossary/concurrency/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/concurrency/) (aktualisiert am 2026-11-14).

# Concurrency (Parallelität)

Aktualisiert 2026-11-14

Concurrency (Parallelität) ist die Zahl der Anfragen, die ein Client gleichzeitig offen hat. LLM-APIs begrenzen sie oft pro Schlüssel oder Plan, getrennt von den Anfragen pro Minute, weil jede offene Anfrage GPU-Kapazität belegt, bis ihre Antwort fertig ist.

Auch genannt: Concurrency, Parallelität, gleichzeitige Anfragen, parallele Anfragen, Concurrency-Limit, Parallelitätslimit, concurrent requests, parallel requests, in-flight requests, concurrency limit

Rate Limits zählen Anfragen über einen Zeitraum. Concurrency zählt Anfragen in einem einzigen Moment. LLM-Anfragen können viele Sekunden dauern, daher greift das zweite Limit oft zuerst.

## So funktioniert es

Das Gesetz von Little verbindet die drei Größen (offene Anfragen = Anfragerate × durchschnittliche Dauer pro Anfrage):

`requests in flight = request rate × average time per request`

Nehmen Sie einen hypothetischen Schlüssel, der 5 offene Anfragen und 60 Anfragen pro Minute erlaubt, wobei jede Anfrage 20 Sekunden dauert. Das Concurrency-Limit erlaubt höchstens 5 ÷ 20 = 0,25 Anfragen pro Sekunde, also 15 pro Minute. Die 60 pro Minute erreichen Sie nie, weil die Concurrency das bindende Limit ist. Bei Anfragen von 2 Sekunden erlaubt dasselbe Limit 150 pro Minute, und stattdessen greift das Rate Limit. Der [Rate-Limit-Rechner](https://broadrouter.com/tools/llm-rate-limit-calculator/) rechnet das mit Ihren eigenen Zahlen durch.

Lange Outputs, [Reasoning-Tokens](https://broadrouter.com/de/glossary/reasoning-tokens/) und lange Prompts verlängern Anfragen und verbrauchen die Concurrency daher schneller. Eine [gestreamte](https://broadrouter.com/de/glossary/streaming/) Antwort hält ihren Slot, bis sie endet.

## Warum es wichtig ist

Anbieter begrenzen die Concurrency, weil GPU-Speicher und Rechenleistung geteilt werden. Die Benchmarks von NVIDIA zeigen: Steigt die Concurrency auf einem Server, wächst der gesamte Output, während die [Tokens pro Sekunde](https://broadrouter.com/de/glossary/tokens-per-second/) jeder einzelnen Anfrage sinken. Ein Limit pro Schlüssel verhindert, dass ein Client alle anderen ausbremst.

Für Ihre App bestimmt die Concurrency, wie groß Worker-Pools sein dürfen und wie viele Agenten nebeneinander laufen können. Richten Sie den Pool am Limit aus, nicht darüber, sonst sammeln zusätzliche Worker nur 429-Fehler.

## Bei BroadNet Inference

| Zugang | Concurrency |
| --- | --- |
| Pay-as-you-go-Schlüssel | 4 offene Anfragen, dazu 30 Anfragen pro Minute |
| Stundenschlüssel | Ein Stream |
| Unbegrenzter Plan | Eine Anfrage gleichzeitig pro Session |

Die Pläne verkaufen Concurrency direkt. Eine Session hat keinen Token-Zähler und bearbeitet eine Anfrage nach der anderen, so wie ein Agent arbeitet. Anfragen in derselben Session reihen sich hintereinander ein. Um Agenten parallel laufen zu lassen, kaufen Sie eine Session pro Agent: Ein Orchestrator plus drei Sub-Agenten braucht vier Sessions. Ein Schlüssel kann mehrere Sessions enthalten.

Lesen Sie, [wie unbegrenzte Sessions funktionieren](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/) und [wie Sie parallele Coding-Agenten mit einer Flatrate betreiben](https://broadrouter.com/de/blog/run-parallel-coding-agents-flat-rate/). Agenten verbringen viel Zeit damit, Tools auszuführen; messen Sie also die tatsächliche Überlappung, bevor Sie mehr Sessions kaufen.

## Häufige Fehler

-   Pro Aufgabe einen Worker starten, ohne Pool. Ein Batch aus 100 Aufgaben wird zu 100 gleichzeitigen Anfragen.
-   Client-Timeouts kürzer setzen als eine lange Reasoning-Antwort. Der Client gibt auf, während der Slot noch belegt ist.

## Häufige Fragen

### Was passiert, wenn ich das Concurrency-Limit überschreite?

Je nach Anbieter wird die zusätzliche Anfrage abgelehnt, oft mit einem 429, oder sie wartet in einer Warteschlange, bis ein Slot frei wird.

### Belegt Streaming einen Concurrency-Slot?

Ja. Eine gestreamte Antwort hält ihren Slot, bis der letzte Chunk ankommt; lange Outputs belegen einen Slot also länger.

### Wie viele gleichzeitige Anfragen braucht ein KI-Coding-Agent?

Ein Agent braucht meist eine, weil er auf jede Antwort wartet, bevor er den nächsten Schritt macht. Ein Orchestrator mit drei gleichzeitig laufenden Sub-Agenten braucht bis zu vier. Er braucht vier, wenn der Orchestrator Anfragen sendet, während sie laufen, und drei, wenn er auf sie wartet.

## Siehe auch

-   [Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/) (Begriff)
-   [Tokens pro Sekunde (TPS)](https://broadrouter.com/de/glossary/tokens-per-second/) (Begriff)
-   [Streaming](https://broadrouter.com/de/glossary/streaming/) (Begriff)
-   [LLM-Flatrate (Flat-rate LLM plan)](https://broadrouter.com/de/glossary/flat-rate-llm-plan/) (Begriff)
-   [Durchsatz (Throughput)](https://broadrouter.com/de/glossary/throughput/) (Begriff)
-   [Latenz (LLM)](https://broadrouter.com/de/glossary/latency/) (Begriff)
-   [KI-Agent (AI Agent)](https://broadrouter.com/de/glossary/agent/) (Begriff)
-   [So funktionieren die unbegrenzten LLM-API-Pläne für Agenten](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/) (Anleitung)
-   [Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/) (Anleitung)
-   [Parallele Coding-Agenten mit einer LLM-API-Flatrate betreiben](https://broadrouter.com/de/blog/run-parallel-coding-agents-flat-rate/) (Artikel)
-   [Was „unbegrenzt“ bei einem LLM-API-Plan wirklich bedeutet](https://broadrouter.com/de/blog/what-unlimited-llm-api-really-means/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-concurrency&utm_content=page-cta) ·

**Quellen**

-   [Gesetz von Little (Wikipedia)](https://en.wikipedia.org/wiki/Little%27s_law)
-   [NVIDIA NIM, Metriken für LLM-Benchmarks (Concurrency und Durchsatz)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [API-Referenz von BroadNet Inference, Limits (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-concurrency&utm_content=sources#limits)
-   [Pläne von BroadNet Inference (Sessions) (auf Englisch)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-concurrency&utm_content=sources)
