Geschwindigkeit hat zwei Teile: wie lange es dauert, bis überhaupt etwas erscheint, und wie schnell der Text danach fließt. Tokens pro Sekunde messen den zweiten Teil.
So funktioniert es
Die Benchmark-Dokumentation von NVIDIA definiert die zugehörigen Metriken:
- Time to First Token (TTFT): vom Senden der Anfrage bis zum Empfang des ersten Tokens. Sie wächst mit der Prompt-Länge.
- Inter-Token-Latenz (ITL): der durchschnittliche Abstand zwischen Output-Tokens.
- TPS pro Nutzer: die Output-Tokens einer Anfrage geteilt durch ihre End-to-End-Zeit; in der Definition von NVIDIA ist die TTFT also enthalten. Viele Dashboards nennen stattdessen die Decoding-Geschwindigkeit nach dem ersten Token, so wie diese Seite.
- System-TPS: alle Output-Tokens über alle gleichzeitigen Anfragen, auch Durchsatz genannt.
Die Werte ziehen in entgegengesetzte Richtungen. NVIDIA merkt an, dass mit steigender Concurrency die System-TPS steigen, während die TPS pro Nutzer sinken. Die Marketingzahl eines Anbieters und die Geschwindigkeit Ihrer einzelnen Anfrage können also beide ehrlich sein und sich trotzdem unterscheiden.
Eine schnelle Schätzung für eine Antwort (Gesamtzeit ≈ TTFT + Output-Tokens ÷ Tokens pro Sekunde):
total time ≈ TTFT + output tokens ÷ tokens per second
Nehmen Sie als Beispiel einen Stream mit 50 Tokens pro Sekunde: Eine Antwort mit 1.000 Tokens dauert nach dem ersten Token etwa 20 Sekunden. Schreibt das Modell außerdem 2.000 Reasoning-Tokens, kommen etwa 40 Sekunden hinzu, bevor die Antwort beginnt. Die Time to First Token kommt noch obendrauf.
Warum es wichtig ist
- Nutzererlebnis. Streaming zeigt den Text, sobald er ankommt; TTFT und TPS entscheiden also, wie schnell sich eine Antwort anfühlt.
- Durchsatz von Agenten. Ein Coding-Agent wartet auf jede Antwort, bevor er den nächsten Schritt macht. Schnellerer Output bedeutet mehr Schritte pro Stunde.
- Grenzen von Plänen. Bei einem Plan ohne Token-Zähler wird die Geschwindigkeit zur eigentlichen Obergrenze dafür, wie viele Tokens Sie nutzen können.
Bei BroadNet Inference
Die Seite mit den Plänen von BroadNet nennt eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde für DeepSeek V4.1 Flash. Eine Session in den unbegrenzten Plänen bearbeitet eine Anfrage nach der anderen; bei dieser Geschwindigkeit würde eine Session, die 30 Tage ohne Pause generiert, etwa 259 Millionen Output-Tokens erzeugen. Echte Agenten verbringen Zeit mit Lesen, dem Ausführen von Tools und Warten; der praktische Wert liegt daher niedriger.
Für mehr Gesamtdurchsatz in einem Plan fügen Sie Sessions hinzu: eine pro parallel arbeitendem Agenten. Siehe wie unbegrenzte Sessions funktionieren und parallele Coding-Agenten betreiben.
Häufige Fehler
- Anbieter anhand einer einzelnen Anfrage vergleichen. Messen Sie TTFT und TPS über viele Anfragen, mit Ihren eigenen Prompt-Größen.
- Beim Setzen von Client-Timeouts die Zeit für das Reasoning vergessen.