Die TTFT ist die Pause, bevor irgendetwas passiert. Im Chatfenster ist sie der leere Bildschirm, beim Voicebot die Funkstille.
So funktioniert es
Der Benchmark-Leitfaden von NVIDIA zerlegt die TTFT in drei Teile: „request queuing time, prefill time, and network latency“ (Übersetzung: „Wartezeit der Anfrage in der Warteschlange, Prefill-Zeit und Netzwerklatenz“). Jeder hat seine eigene Ursache:
| Teil | Was ihn bestimmt | Was Sie ändern können |
|---|---|---|
| Netzwerk | Entfernung, TLS-Aufbau, Proxys | Verbindungen wiederverwenden; aus einer nahen Region aufrufen |
| Warteschlange | Auslastung des Servers | Zeiten außerhalb der Spitzen, ein weniger ausgelastetes Modell oder Tier |
| Prefill | Prompt-Länge, Modellgröße | Kürzere Prompts, stabile cachebare Präfixe |
Bei langen Inputs ist das Prefill meist der größte Posten. Das Modell schickt den ganzen Prompt durch jede Schicht, um den KV-Cache aufzubauen, bevor es das erste Token erzeugen kann. NVIDIA merkt an, dass sich auf einem ausgelasteten Server das Prefill einer Anfrage mit der Generierung einer anderen überschneiden kann; die TTFT schwankt also auch mit dem Traffic anderer Nutzer.
Zwei Definitionen sind wichtig, wenn Sie Zahlen lesen. AIPerf von NVIDIA zählt das erste Token nur, wenn es Inhalt trägt. Für gestreamten Text in der Responses API misst der Leitfaden von OpenAI die TTFT „until you receive the first nonempty response.output_text.delta“ (Übersetzung: „bis zum Empfang des ersten nicht leeren response.output_text.delta“). Bei Reasoning-Tokens kann das erste sichtbare Wort viel später kommen als das erste erzeugte Token; sagen Sie also, welches Sie meinen.
Warum es wichtig ist
Die TTFT bestimmt stärker als die reine Geschwindigkeit, wie schnell sich ein Produkt anfühlt. Der Leitfaden von OpenAI sagt: „a long prompt can delay the first token, especially when much of the input is new“ (Übersetzung: „ein langer Prompt kann das erste Token verzögern, besonders wenn ein Großteil des Inputs neu ist“). Hier helfen gecachte Input-Tokens. Derselbe Leitfaden sagt, Prompt-Caching „can reuse an eligible exact prefix match“ (Übersetzung: „kann eine geeignete exakte Präfix-Übereinstimmung wiederverwenden“), und schlägt vor, die TTFT mit und ohne Cache-Treffer zu vergleichen. Ein gecachtes Präfix überspringt einen Teil des Prefills, sodass ein wiederholter System-Prompt weniger kostet und früher starten kann.
Bei Agenten fällt die TTFT bei jedem Schritt an. Zwanzig Tool Calls mit zwei Sekunden TTFT ergeben vierzig Sekunden Wartezeit, noch bevor irgendein Output mitgezählt ist.
Die TTFT ist ein Teil der End-to-End-Latenz. Der Rest ist die Generierungszeit, bestimmt durch die Tokens pro Sekunde.
Bei BroadNet Inference
Die BroadNet-Dokumentation beschreibt Streaming mit Server-Sent Events, das mit data: [DONE] endet; so beobachten Sie das erste Token im Client. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach, die Zeit bis zum ersten sichtbaren Text schließt also das Nachdenken ein. BroadNet veröffentlicht keinen TTFT-Wert. Ein Messskript und Auswertungen nach p50/p95 finden Sie in LLM-Latenz: TTFT vs. Tokens pro Sekunde.