Bir sohbet isteği iki farklı iş yapar: istemi okur, sonra yanıtı yazar. Çıkarım mühendisleri bunlara prefill ve decode der ve GPU üzerinde çok farklı davranırlar.
Nasıl çalışır
- Prefill. Model her istem token’ını tek bir paralel geçişte okur ve her token’ın attention anahtarlarını ve değerlerini KV önbelleğine kaydeder. Henüz hiçbir şey döndürülmez.
- Decode. Model bir token üretir, onun anahtarlarını ve değerlerini önbelleğe ekler ve durana ya da
max_tokenssınırına ulaşana kadar bunu tekrarlar.
Sarathi-Serve makalesi farkı açıkça ortaya koyar: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (çeviri: prefill yinelemelerinin gecikmesi yüksektir ama girdi isteminin paralel işlenmesi nedeniyle GPU hesaplama gücünü doyurur), “decode iterations have low latency but also low compute utilization.” (çeviri: decode yinelemelerinin gecikmesi düşüktür ama hesaplama kullanımı da düşüktür.)
İki aşama, kullanıcıların hissettiği iki gecikme sayısına karşılık gelir. DistServe makalesi bunları şöyle adlandırır: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (çeviri: prefill aşaması için ilk token süresi (TTFT) ve decode aşaması için her isteğin çıktı token’ı başına süresi (TPOT).)
Somut bir örnek: 20.000 token’lık istem ve 300 token’lık yanıt içeren bir istek, akışla gelen ilk token görünmeden önce 20.000 token’ın tamamının prefill’ini yapar, ardından 300 ardışık decode adımı gelir. İstemi yarıya indirmek ilk token için beklemeyi kısaltır; 300 token’ın ne kadar hızlı geldiğini değiştirmez.
Neden önemli
- İlk token süresi istem boyutunu izler. Uzun sistem istemleri, belgeler ve araç listeleri prefill işini artırır. Önbelleğe alınmış önekler bunun bir kısmını atlar; bu yüzden önbellekli girdi token’ları uzun istemlerin daha hızlı başlamasını sağlayabilir.
- Saniyedeki token bir decode sayısıdır. Çıktı hızı, her decode adımının ne kadar hızlı çalıştığına bağlıdır; speculative decoding bunu artırmaya çalışır.
- Aşamalar birbirini etkiler. Bir sunucu ikisini aynı GPU’da çalıştırdığında büyük bir prefill, diğer kullanıcıların decode adımlarını duraklatabilir. DistServe “strong prefill-decoding interferences” (çeviri: güçlü prefill-decode girişimleri) bildirir ve aşamaları farklı GPU’lara taşır. Sarathi-Serve ise “splits a prefill request into near equal sized chunks” (çeviri: bir prefill isteğini neredeyse eşit boyutlu parçalara böler) ve bunları “without pausing ongoing decodes” (çeviri: devam eden decode’ları duraklatmadan) zamanlar.
- Motorlar bu ödünleşimi açığa çıkarır. vLLM’in ayar rehberi, chunked prefill’in prefill parçalarını decode istekleriyle aynı batch’te toplamasına olanak verdiğini söyler. Daha küçük bir
max_num_batched_tokenstoken’lar arası gecikmeyi iyileştirir, daha büyüğü ise TTFT’yi ve işlem hacmini öne çıkarır.
Gecikme, TTFT ve işlem hacmi rehberi iki aşamayı istemci tarafından nasıl ölçeceğinizi gösterir.
BroadNet Inference’ta
BroadNet, sunucularının prefill ve decode’u nasıl zamanladığını yayımlamaz. Görebildiğiniz şey etkidir: akış rehberindeki gibi yanıtı akışla alın, ilk içerik parçasına kadar geçen süreyi (çoğunlukla prefill artı kuyruk) ve sonrasındaki parça hızını (decode) loglayın. GLM 5.3, DeepSeek V4.1 Flash ve Qwen3.8 27B modellerinde akıl yürütme token’ları da decode sırasında üretilir; bu yüzden görünür yanıtı geciktirir ve max_tokens sınırına dahil edilir.
Sık yapılan hatalar
- Yavaş bir ilk token’ı modelin çıktı hızına bağlamak. Önce istem uzunluğunu kontrol edin.
- Çok küçük bir istemle kıyaslama yapmak. Uzun bağlamlı gerçek istemlerin prefill süresi çok daha uzundur.