TTFT, bir şey olmadan önceki duraksamadır. Sohbet penceresinde boş ekran, sesli bir botta ise ölü sessizliktir.
Nasıl çalışır
NVIDIA’nın kıyaslama rehberi TTFT’yi üç parçaya ayırır: “request queuing time, prefill time, and network latency” (çeviri: isteğin kuyrukta bekleme süresi, ön doldurma süresi ve ağ gecikmesi). Her birinin kendi nedeni vardır:
| Parça | Neyin etkisinde | Neyi değiştirebilirsiniz |
|---|---|---|
| Ağ | Mesafe, TLS kurulumu, proxy’ler | Bağlantıları yeniden kullanın; yakın bir bölgeden çağırın |
| Kuyruk | Sunucunun ne kadar yoğun olduğu | Yoğun olmayan saatler, daha az yüklü bir model veya katman |
| Ön doldurma | İstem uzunluğu, model boyutu | Daha kısa istemler, sabit ve önbelleğe alınabilir önekler |
Uzun girdilerde en büyük parça genellikle ön doldurmadır. Model, ilk token’ı üretebilmek için KV önbelleğini oluştururken tüm istemi her katmandan geçirir. NVIDIA, yoğun bir sunucuda bir isteğin ön doldurmasının başka bir isteğin üretimiyle çakışabileceğini not eder; bu yüzden TTFT başkalarının trafiğiyle de değişir.
Rakamları okurken iki tanım önemlidir. NVIDIA’nın AIPerf aracı ilk token’ı ancak içerik taşıyorsa sayar. Responses API’de metin akışı için OpenAI’nin rehberi TTFT’yi “until you receive the first nonempty response.output_text.delta” (çeviri: boş olmayan ilk response.output_text.delta alınana kadar) ölçer. Akıl yürütme token’larında görünen ilk kelime, üretilen ilk token’dan çok daha sonra gelebilir; bu yüzden hangisini kastettiğinizi belirtin.
Neden önemli
Bir ürünün ne kadar hızlı hissettirdiğini ham hızdan çok TTFT belirler. OpenAI’nin rehberi “a long prompt can delay the first token, especially when much of the input is new” (çeviri: uzun bir istem, özellikle girdinin büyük kısmı yeniyse, ilk token’ı geciktirebilir) der. Önbellekli girdi token’ları tam burada işe yarar. Aynı rehber, istem önbelleğinin “can reuse an eligible exact prefix match” (çeviri: uygun, birebir eşleşen bir öneki yeniden kullanabilir) olduğunu söyler ve TTFT’yi önbellek isabetiyle ve isabetsiz karşılaştırmayı önerir. Önbellekteki bir önek ön doldurmanın bir kısmını atlar; böylece tekrarlanan bir sistem istemi daha ucuza gelir ve daha erken başlayabilir.
Ajanlarda TTFT her adımda ödenir. İki saniyelik TTFT’ye sahip yirmi araç çağrısı, herhangi bir çıktı sayılmadan önce kırk saniyelik bekleme ekler.
TTFT, uçtan uca gecikmenin bir parçasıdır. Geri kalanı, saniye başına token değerinin belirlediği üretim süresidir.
BroadNet Inference’ta
BroadNet’in belgeleri, data: [DONE] ile biten, Server-Sent Events üzerinden akışı anlatır; ilk token’ı istemcide bu sayede gözlemlersiniz. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür; bu yüzden ilk görünür metne kadar geçen süre düşünmeyi de içerir. BroadNet bir TTFT rakamı yayımlamaz. Bir zamanlama betiği ve p50/p95 raporlaması için LLM gecikmesi: TTFT ve saniye başına token yazısına bakın.