BroadRouter

İlk token süresi (TTFT)

Güncellendi

İlk token süresi (time to first token, TTFT), bir dil modeline istek gönderildiği andan ilk çıktı token'ının geldiği ana kadar geçen süredir. Ağ süresini, sunucudaki kuyruk beklemesini ve modelin tüm istemi okuduğu ön doldurma (prefill) adımını içerir; bu yüzden istem uzunluğu ve yükle birlikte artar.

Diğer adları: ilk token süresi, ilk token gecikmesi, TTFT nedir, time to first token, TTFT, first-token latency, time to first content token, first token time

TTFT, bir şey olmadan önceki duraksamadır. Sohbet penceresinde boş ekran, sesli bir botta ise ölü sessizliktir.

Nasıl çalışır

NVIDIA’nın kıyaslama rehberi TTFT’yi üç parçaya ayırır: “request queuing time, prefill time, and network latency” (çeviri: isteğin kuyrukta bekleme süresi, ön doldurma süresi ve ağ gecikmesi). Her birinin kendi nedeni vardır:

Parça Neyin etkisinde Neyi değiştirebilirsiniz
Ağ Mesafe, TLS kurulumu, proxy’ler Bağlantıları yeniden kullanın; yakın bir bölgeden çağırın
Kuyruk Sunucunun ne kadar yoğun olduğu Yoğun olmayan saatler, daha az yüklü bir model veya katman
Ön doldurma İstem uzunluğu, model boyutu Daha kısa istemler, sabit ve önbelleğe alınabilir önekler

Uzun girdilerde en büyük parça genellikle ön doldurmadır. Model, ilk token’ı üretebilmek için KV önbelleğini oluştururken tüm istemi her katmandan geçirir. NVIDIA, yoğun bir sunucuda bir isteğin ön doldurmasının başka bir isteğin üretimiyle çakışabileceğini not eder; bu yüzden TTFT başkalarının trafiğiyle de değişir.

Rakamları okurken iki tanım önemlidir. NVIDIA’nın AIPerf aracı ilk token’ı ancak içerik taşıyorsa sayar. Responses API’de metin akışı için OpenAI’nin rehberi TTFT’yi “until you receive the first nonempty response.output_text.delta” (çeviri: boş olmayan ilk response.output_text.delta alınana kadar) ölçer. Akıl yürütme token’larında görünen ilk kelime, üretilen ilk token’dan çok daha sonra gelebilir; bu yüzden hangisini kastettiğinizi belirtin.

Neden önemli

Bir ürünün ne kadar hızlı hissettirdiğini ham hızdan çok TTFT belirler. OpenAI’nin rehberi “a long prompt can delay the first token, especially when much of the input is new” (çeviri: uzun bir istem, özellikle girdinin büyük kısmı yeniyse, ilk token’ı geciktirebilir) der. Önbellekli girdi token’ları tam burada işe yarar. Aynı rehber, istem önbelleğinin “can reuse an eligible exact prefix match” (çeviri: uygun, birebir eşleşen bir öneki yeniden kullanabilir) olduğunu söyler ve TTFT’yi önbellek isabetiyle ve isabetsiz karşılaştırmayı önerir. Önbellekteki bir önek ön doldurmanın bir kısmını atlar; böylece tekrarlanan bir sistem istemi daha ucuza gelir ve daha erken başlayabilir.

Ajanlarda TTFT her adımda ödenir. İki saniyelik TTFT’ye sahip yirmi araç çağrısı, herhangi bir çıktı sayılmadan önce kırk saniyelik bekleme ekler.

TTFT, uçtan uca gecikmenin bir parçasıdır. Geri kalanı, saniye başına token değerinin belirlediği üretim süresidir.

BroadNet Inference’ta

BroadNet’in belgeleri, data: [DONE] ile biten, Server-Sent Events üzerinden akışı anlatır; ilk token’ı istemcide bu sayede gözlemlersiniz. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür; bu yüzden ilk görünür metne kadar geçen süre düşünmeyi de içerir. BroadNet bir TTFT rakamı yayımlamaz. Bir zamanlama betiği ve p50/p95 raporlaması için LLM gecikmesi: TTFT ve saniye başına token yazısına bakın.

Sık sorulan sorular

Uzun bir istemde TTFT neden yavaş?

Model herhangi bir şey yazmadan önce istemin her token'ını okumalı ve KV önbelleğini oluşturmalıdır. NVIDIA'nın metrik rehberi, uzun istemlerin TTFT'yi tam da bu nedenle artırdığını söyler.

Akış (streaming) ilk token süresini azaltır mı?

Hayır. Akış, ilk token oluşur oluşmaz onu görmenizi sağlar; akış olmadan tüm yanıtı beklersiniz. O token'dan önceki sunucu tarafı iş her iki durumda da aynıdır.

Boş bir ilk parça, ilk token sayılır mı?

Çoğu kıyaslamada sayılmaz. NVIDIA'nın AIPerf aracı içeriksiz ilk yanıtları yok sayar; OpenAI de TTFT'yi boş olmayan ilk metin parçasına (delta) kadar ölçer.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor