BroadRouter

Saniyedeki token (tokens per second, TPS)

Güncellendi

Saniyedeki token (TPS), bir dil modelinin çıktı token'larını üretme hızıdır ve genellikle tek bir istek için ilk token geldikten sonra ölçülür. Başlayan bir yanıtın ne kadar hızlı akacağını belirler. Tüm eşzamanlı isteklerde toplandığında sistem işlem hacmine dönüşür; ilk token'dan önceki bekleme ayrıca ölçülür.

Diğer adları: saniyedeki token, saniye başına token, token/s, üretim hızı, çıktı hızı, TPS, tok/s, output speed, generation speed, tokens per second

Hızın iki parçası vardır: bir şey görünmeden önce ne kadar beklendiği ve ardından metnin ne kadar hızlı aktığı. Saniyedeki token ikinci parçayı ölçer.

Nasıl çalışır

NVIDIA’nın kıyaslama belgeleri ilgili metrikleri tanımlar:

  • İlk token süresi (TTFT): isteğin gönderilmesinden ilk token’ın alınmasına kadar geçen süre. İstem uzunluğuyla artar.
  • Token arası gecikme (ITL): çıktı token’ları arasındaki ortalama aralık.
  • Kullanıcı başına TPS: tek bir isteğin çıktı token’larının uçtan uca süresine bölümü; yani NVIDIA’nın tanımında TTFT’yi de içerir. Birçok gösterge paneli ise bu sayfanın yaptığı gibi ilk token’dan sonraki kod çözme hızını verir.
  • Sistem TPS: tüm eşzamanlı isteklerdeki toplam çıktı token’ları; işlem hacmi (throughput) olarak da adlandırılır.

Bunlar zıt yönlere çeker. NVIDIA, eşzamanlılık arttıkça sistem TPS’sinin yükseldiğini, kullanıcı başına TPS’nin ise düştüğünü belirtir. Bir sağlayıcının pazarlama rakamı ile sizin tek isteğinizin hızı ikisi de dürüst olup yine de farklı olabilir.

Tek bir yanıt için hızlı bir tahmin:

total time ≈ TTFT + output tokens ÷ tokens per second

Yani toplam süre ≈ TTFT + çıktı token’ları ÷ saniyedeki token. Saniyede 50 token’lık örnek bir akış düşünün: 1.000 token’lık bir yanıt, ilk token’dan sonra yaklaşık 20 saniye sürer. Model ayrıca 2.000 akıl yürütme token’ı yazıyorsa, yanıt başlamadan önce yaklaşık 40 saniye ekleyin. İlk token süresi bunların üzerine gelir.

Neden önemli

  • Kullanıcı deneyimi. Akış (streaming) metni geldikçe gösterir; bu yüzden bir yanıtın ne kadar hızlı hissettireceğini TTFT ve TPS belirler.
  • Ajan verimi. Bir kodlama ajanı bir sonraki adımından önce her yanıtı bekler. Daha hızlı çıktı, saatte daha fazla adım demektir.
  • Plan sınırları. Token sayacı olmayan bir planda, kullanabileceğiniz token miktarının asıl tavanı hız olur.

BroadNet Inference’ta

BroadNet’in planlar sayfası, DeepSeek V4.1 Flash için saniyede yaklaşık 100 token tipik hız belirtir. Sınırsız planlardaki bir oturum aynı anda tek istek çalıştırır; bu yüzden bu hızda 30 gün boyunca kesintisiz üretim yapan bir oturum yaklaşık 259 milyon çıktı token’ı üretirdi. Gerçek ajanlar okumaya, araç çalıştırmaya ve beklemeye zaman harcar; bu yüzden pratikteki rakam daha düşüktür.

Bir planda toplam işlem hacmini artırmak için oturum ekleyin: paralel çalışan her ajan için bir tane. Bkz. sınırsız oturumlar nasıl çalışır ve paralel kodlama ajanları çalıştırma.

Sık yapılan hatalar

  • Sağlayıcıları tek bir istekle karşılaştırmak. TTFT ve TPS’yi kendi istem boyutlarınızla, çok sayıda istek üzerinden ölçün.
  • İstemci zaman aşımlarını ayarlarken akıl yürütme süresini unutmak.

Sık sorulan sorular

İyi bir saniyedeki token değeri nedir?

Kullanıma bağlıdır. Bir sohbet yanıtı, metin insanların okuma hızından hızlı göründüğünde akıcı hissettirir. Ajanlar ve toplu işler ise görev başına toplam süreye ve kaç isteğin paralel çalıştığına daha çok önem verir.

Saniyedeki token istemi de kapsar mı?

Genellikle hayır. Üretim hızı çıktı token'larını sayar. İstemin okunması bunun yerine ilk token süresinde görünür ve istem uzunluğuyla artar.

Akıl yürütme token'ları yanıtı yavaşlatır mı?

Evet. Görünür çıktıyla aynı hızda üretilirler; bu yüzden 2.000 token boyunca düşünen bir model, yanıtı o token'ların süresi kadar geciktirir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor