---
title: "Was sind Tokens pro Sekunde (TPS) bei LLM-Inferenz? | BroadRouter"
description: "Tokens pro Sekunde messen, wie schnell ein LLM Output erzeugt. Pro Anfrage vs. Systemdurchsatz, Time to First Token und wie Sie die Dauer einer Antwort abschätzen."
url: https://broadrouter.com/de/glossary/tokens-per-second/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/tokens-per-second/) (aktualisiert am 2026-11-14).

# Tokens pro Sekunde (TPS)

Aktualisiert 2026-11-14

Tokens pro Sekunde (TPS) sind die Rate, mit der ein Sprachmodell Output-Tokens erzeugt, meist gemessen für eine Anfrage nach Ankunft ihres ersten Tokens. Sie bestimmen, wie schnell eine Antwort streamt, sobald sie begonnen hat. Über alle gleichzeitigen Anfragen addiert ergibt sich der Systemdurchsatz; die Wartezeit bis zum ersten Token wird getrennt gemessen.

Auch genannt: TPS, Tokens pro Sekunde, Token pro Sekunde, Ausgabegeschwindigkeit, Generierungsgeschwindigkeit, tokens per second, tok/s, output speed, generation speed

Geschwindigkeit hat zwei Teile: wie lange es dauert, bis überhaupt etwas erscheint, und wie schnell der Text danach fließt. Tokens pro Sekunde messen den zweiten Teil.

## So funktioniert es

Die Benchmark-Dokumentation von NVIDIA definiert die zugehörigen Metriken:

-   **Time to First Token (TTFT):** vom Senden der Anfrage bis zum Empfang des ersten Tokens. Sie wächst mit der Prompt-Länge.
-   **Inter-Token-Latenz (ITL):** der durchschnittliche Abstand zwischen Output-Tokens.
-   **TPS pro Nutzer:** die Output-Tokens einer Anfrage geteilt durch ihre End-to-End-Zeit; in der Definition von NVIDIA ist die TTFT also enthalten. Viele Dashboards nennen stattdessen die Decoding-Geschwindigkeit nach dem ersten Token, so wie diese Seite.
-   **System-TPS:** alle Output-Tokens über alle gleichzeitigen Anfragen, auch [Durchsatz](https://broadrouter.com/de/glossary/throughput/) genannt.

Die Werte ziehen in entgegengesetzte Richtungen. NVIDIA merkt an, dass mit steigender [Concurrency](https://broadrouter.com/de/glossary/concurrency/) die System-TPS steigen, während die TPS pro Nutzer sinken. Die Marketingzahl eines Anbieters und die Geschwindigkeit Ihrer einzelnen Anfrage können also beide ehrlich sein und sich trotzdem unterscheiden.

Eine schnelle Schätzung für eine Antwort (Gesamtzeit ≈ TTFT + Output-Tokens ÷ Tokens pro Sekunde):

`total time ≈ TTFT + output tokens ÷ tokens per second`

Nehmen Sie als Beispiel einen Stream mit 50 Tokens pro Sekunde: Eine Antwort mit 1.000 Tokens dauert nach dem ersten Token etwa 20 Sekunden. Schreibt das Modell außerdem 2.000 [Reasoning-Tokens](https://broadrouter.com/de/glossary/reasoning-tokens/), kommen etwa 40 Sekunden hinzu, bevor die Antwort beginnt. Die [Time to First Token](https://broadrouter.com/de/glossary/time-to-first-token/) kommt noch obendrauf.

## Warum es wichtig ist

-   **Nutzererlebnis.** [Streaming](https://broadrouter.com/de/glossary/streaming/) zeigt den Text, sobald er ankommt; TTFT und TPS entscheiden also, wie schnell sich eine Antwort anfühlt.
-   **Durchsatz von Agenten.** Ein Coding-Agent wartet auf jede Antwort, bevor er den nächsten Schritt macht. Schnellerer Output bedeutet mehr Schritte pro Stunde.
-   **Grenzen von Plänen.** Bei einem Plan ohne Token-Zähler wird die Geschwindigkeit zur eigentlichen Obergrenze dafür, wie viele Tokens Sie nutzen können.

## Bei BroadNet Inference

Die Seite mit den Plänen von BroadNet nennt eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde für DeepSeek V4.1 Flash. Eine Session in den unbegrenzten Plänen bearbeitet eine Anfrage nach der anderen; bei dieser Geschwindigkeit würde eine Session, die 30 Tage ohne Pause generiert, etwa 259 Millionen Output-Tokens erzeugen. Echte Agenten verbringen Zeit mit Lesen, dem Ausführen von Tools und Warten; der praktische Wert liegt daher niedriger.

Für mehr Gesamtdurchsatz in einem Plan fügen Sie Sessions hinzu: eine pro parallel arbeitendem Agenten. Siehe [wie unbegrenzte Sessions funktionieren](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/) und [parallele Coding-Agenten betreiben](https://broadrouter.com/de/blog/run-parallel-coding-agents-flat-rate/).

## Häufige Fehler

-   Anbieter anhand einer einzelnen Anfrage vergleichen. Messen Sie TTFT und TPS über viele Anfragen, mit Ihren eigenen Prompt-Größen.
-   Beim Setzen von Client-Timeouts die Zeit für das Reasoning vergessen.

## Häufige Fragen

### Wie viele Tokens pro Sekunde sind gut?

Das hängt vom Einsatz ab. Eine Chat-Antwort wirkt reaktionsschnell, sobald der Text schneller erscheint, als Menschen lesen. Für Agenten und Batch-Jobs zählen eher die Gesamtzeit pro Aufgabe und die Zahl parallel laufender Anfragen.

### Zählt der Prompt bei Tokens pro Sekunde mit?

Meist nicht. Die Generierungsgeschwindigkeit zählt Output-Tokens. Das Einlesen des Prompts zeigt sich stattdessen in der Time to First Token, die mit der Prompt-Länge wächst.

### Verzögern Reasoning-Tokens die Antwort?

Ja. Sie werden mit derselben Geschwindigkeit erzeugt wie sichtbarer Output; ein Modell, das 2.000 Tokens lang nachdenkt, verzögert die Antwort also um die Zeit, die diese Tokens brauchen.

## Siehe auch

-   [Token](https://broadrouter.com/de/glossary/token/) (Begriff)
-   [Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/) (Begriff)
-   [Streaming](https://broadrouter.com/de/glossary/streaming/) (Begriff)
-   [Reasoning-Tokens](https://broadrouter.com/de/glossary/reasoning-tokens/) (Begriff)
-   [Durchsatz (Throughput)](https://broadrouter.com/de/glossary/throughput/) (Begriff)
-   [Latenz (LLM)](https://broadrouter.com/de/glossary/latency/) (Begriff)
-   [Time to First Token (TTFT)](https://broadrouter.com/de/glossary/time-to-first-token/) (Begriff)
-   [Speculative Decoding (spekulatives Dekodieren)](https://broadrouter.com/de/glossary/speculative-decoding/) (Begriff)
-   [Chat Completions streamen und abgebrochene Verbindungen behandeln](https://broadrouter.com/de/guides/streaming-chat-completions/) (Anleitung)
-   [So funktionieren die unbegrenzten LLM-API-Pläne für Agenten](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/) (Anleitung)
-   [LLM-API: Flatrate oder Abrechnung pro Token? Die Break-even-Rechnung](https://broadrouter.com/de/blog/flat-rate-vs-pay-per-token-llm-api/) (Artikel)
-   [Parallele Coding-Agenten mit einer LLM-API-Flatrate betreiben](https://broadrouter.com/de/blog/run-parallel-coding-agents-flat-rate/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-tokens-per-second&utm_content=page-cta) ·

**Quellen**

-   [NVIDIA NIM, Metriken für LLM-Inferenz-Benchmarks (TTFT, ITL, TPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Pläne von BroadNet Inference (typische Geschwindigkeit) (auf Englisch)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-tokens-per-second&utm_content=sources)
