---
title: "LLM gecikmesi nedir: TTFT, token/saniye, uçtan uca | BroadRouter"
description: "İlk token süresi, saniye başına token ve uçtan uca gecikme neyi ölçer, her biri istemciden kodla nasıl ölçülür ve hangi iyileştirme hangi sayıyı değiştirir."
url: https://broadrouter.com/tr/blog/llm-latency-ttft-throughput/
lang: tr
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/blog/llm-latency-ttft-throughput/) (güncelleme: 2026-11-16).

# LLM gecikmesi: TTFT, saniye başına token ve uçtan uca süre

BroadNet Inference ekibi · 4 dk okuma · Yayımlandı 2026-11-14 · Güncellendi 2026-11-16

İlk token süresi (TTFT), ilk çıktı token'ı gelmeden önceki bekleme süresidir. Saniye başına token, yanıtın ardından ne kadar hızlı aktığıdır. Uçtan uca gecikme ise toplamdır: TTFT artı üretim süresi, yani kabaca çıktı token'larının kullanıcı başına hıza bölümü. TTFT'yi istem uzunluğu ve kuyruk, hızı model boyutu ve yük, toplamı ise yanıt uzunluğu belirler. Üçünü de p50 ve p95'te ölçün.

## Öne çıkanlar

-   Uçtan uca gecikme ≈ TTFT + (çıktı token'ları − 1) × token arası gecikme, yani kabaca TTFT + çıktı token'ları ÷ kullanıcı başına saniye başına token. Uzun yanıtlarda hız ve uzunluk, kısa yanıtlarda TTFT belirleyicidir.
-   Akıl yürütme modellerinde ilk görünür token düşünmeden sonra gelir; bu yüzden ilk içerik token'ı süresini ilk token süresinden ayrı ölçün.
-   Uzun istemler TTFT'yi artırır, çünkü model önce istemin tamamını okur; önbellekli önekler genellikle yardımcı olur.
-   saniyede yaklaşık 100 token hızında üretim süresi yanıt uzunluğuyla aynı oranda artar: on kat çıktı token'ı, akmak için yaklaşık on kat süre ister.
-   p50 ve p95'i istem uzunluğuyla birlikte raporlayın; istem boyutu belirtilmeyen bir ortalama karşılaştırılamaz.

**Bu sayfada**

1.  TTFT, saniye başına token ve uçtan uca gecikme nedir?
2.  Akıl yürütme modelleri neden dördüncü bir sayıya ihtiyaç duyar?
3.  Gecikme istemci tarafından nasıl ölçülür?
4.  Her sayıyı gerçekte ne iyileştirir?
5.  İstem uzunluğu ödünleşimi nasıl değiştirir?
6.  BroadNet Inference nereye uyuyor?

“API yavaş” üç farklı şey anlamına gelebilir ve her birinin çözümü farklıdır. Sohbet kullanıcısı ilk kelimeyi bekler. Bir ajan araç çağrısının tamamını bekler. Bir toplu iş ise saatteki token sayısını önemser. Bu yazı bu üç sayıyı tanımlıyor, kendi kodunuzdan nasıl ölçüleceğini gösteriyor ve her iyileştirmeyi gerçekten değiştirdiği sayıyla eşleştiriyor.

## TTFT, saniye başına token ve uçtan uca gecikme nedir?

NVIDIA’nın benchmark rehberi net tanımlar veriyor ve bunlar bir istemciden gözlemleyebildiklerinizle örtüşüyor:

| Metrik | Neyi ölçer | Kim hisseder | Neye bağlıdır |
| --- | --- | --- | --- |
| [İlk token süresi](https://broadrouter.com/tr/glossary/time-to-first-token/) (TTFT) | İstek gönderildi → ilk token alındı | Sohbet kullanıcıları | Ağ, kuyruk, istem uzunluğu (prefill), önbellek isabetleri |
| Token’lar arası gecikme (ITL) | Token’lar arasındaki ortalama boşluk | Akan bir yanıtı okuyanlar | Model boyutu, donanım, sunucu yükü |
| Kullanıcı başına [saniye başına token](https://broadrouter.com/tr/glossary/tokens-per-second/) | İlk token’dan sonraki çıktı token’ları ÷ üretim süresi (ilk token’dan sonuncuya); ortalama ITL’nin tersine (1 ÷ ITL) eşittir | Okuyanlar, ajanlar | ITL ile aynı |
| Uçtan uca gecikme | İstek gönderildi → son token alındı | Ajanlar, API’ler, toplu işler | TTFT + üretim süresi |

Bunları birbirine bağlayan formül:

**uçtan uca ≈ TTFT + (çıktı token’ları − 1) × ITL ≈ TTFT + çıktı token’ları ÷ kullanıcı başına saniye başına token**

Kullanıcı başına hız, sunucu [işlem hacmiyle (throughput)](https://broadrouter.com/tr/glossary/throughput/), yani bir sunucunun tüm kullanıcılar için ürettiği toplam token’la aynı şey değildir; bir sağlayıcı biri düşerken diğerini artırabilir.

BroadNet’in plan modeli için yayımladığı tipik hızı, saniyede yaklaşık 100 token, ele alın. Üretim süresi yanıt uzunluğuyla birlikte artar: 4.000 token’lık bir kod dosyasının üretilmesi, 50 token’lık bir sınıflandırmadan yaklaşık seksen kat uzun sürer; ikisi de aynı TTFT’yi bekler. Kısa yanıtlarda beklemenin çoğu TTFT’dir; uzun yanıtlarda ise hız ve uzunluk.

## Akıl yürütme modelleri neden dördüncü bir sayıya ihtiyaç duyar?

[DeepSeek V4.1 Flash](https://broadrouter.com/tr/models/deepseek-v4.1-flash/) gibi akıl yürütme modelleri yanıt vermeden önce düşünür ve bu düşünme de çıktı token’ıdır. Model saniyede yaklaşık 100 token hızında 800 token akıl yürütürse, kablo üzerindeki TTFT hızlı görünse bile kullanıcı ilk görünür kelimeden önce bu 800 token’ın hepsinin üretilmesini bekler. Bu yüzden **ilk içerik token’ı süresini** ayrı ölçün. BroadNet Inference’ta `reasoning_effort: "low"` basit adımlarda düşünmeyi kısaltır; [akıl yürütme rehberi](https://broadrouter.com/tr/guides/reasoning-tokens-empty-response/) bu ödünleşimi açıklıyor.

## Gecikme istemci tarafından nasıl ölçülür?

Ölçümü kullanıcılarınızın bulunduğu yerde, [akış (streaming)](https://broadrouter.com/tr/glossary/streaming/) açıkken yapın. Sunucu tarafı zamanlayıcılar ağı ve aradaki proxy’leri kaçırır.

```python
import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
```

Adil bir ölçüm için beş kural:

1.  **İstem uzunluğunu sabitleyin** ve raporlayın. 500 istem token’ında ve 200.000 istem token’ında ölçülen TTFT farklı sayılardır. [Token sayacı](https://broadrouter.com/tools/token-counter/), bir test isteminin uzunluğunu göndermeden önce söyler.
2.  **Çıktı uzunluğunu** `max_tokens` ve onu dolduracak bir istemle sabitleyin; böylece saniye başına token karşılaştırılabilir olur.
3.  **Ortalamayı değil, p50 ve p95’i raporlayın.** Kullanıcıların aklında kalan kuyruk gecikmesidir.
4.  **Çalıştırmaları zamana yayın.** Yük gün içinde değişir.
5.  **Önce ısındırın.** İlk çağrı DNS, TLS ve bağlantı kurulumunun bedelini öder; tek bir istemciyi yeniden kullanın.

## Her sayıyı gerçekte ne iyileştirir?

| İyileştirmek için | Şunu yapın | Neden |
| --- | --- | --- |
| TTFT | İstem önekini kısaltın veya önbelleğe alın | Prefill süresi istem uzunluğuyla artar; önbellekli önekler işi atlar |
| TTFT | Bağlantıları sıcak tutun, yakın bir bölge kullanın | Kurulumu ve gidiş-dönüşleri ortadan kaldırır |
| İlk içerik token’ı süresi | Akıl yürütme düzeyini düşürün veya basit adımlar için akıl yürütmeyen bir model kullanın | Yanıttan önce daha az gizli düşünme |
| Saniye başına token | O adım için daha küçük veya daha hızlı bir model kullanın | Çözme (decode) hızı model boyutuna ve sunuma bağlıdır |
| Uçtan uca | Daha kısa çıktı isteyin (şemalar, kelime sınırları) | Çıktı uzunluğu ITL ile çarpılır |
| Çok sayıda çağrıda uçtan uca | Bağımsız çağrıları [eşzamanlılık](https://broadrouter.com/tr/glossary/concurrency/) sınırınız içinde paralel çalıştırın | Her çağrı aynı kalsa da toplam bekleme süresi düşer |
| Algılanan gecikme | Kullanıcıya akışla gönderin | Model yazarken kullanıcı okur |

Çıktı uzunluğu en çok hafife alınan kaldıraçtır. “Cevabını açıkla” yerine “şu dört alanı olan JSON” istemek, hiçbir altyapı çalışması yapmadan üretim süresini on kat kısaltabilir. Burada [yapılandırılmış çıktı](https://broadrouter.com/tr/glossary/structured-output/) yardımcı olur.

Önbellek kaldıracı [önbelleğe uygun istem yapısı](https://broadrouter.com/tr/blog/prompt-structure-for-caching/) yazısında anlatılıyor. Paralellik kaldıracı ise hızla hız sınırlarına takılır; bkz. [429 hatalarını yönetme](https://broadrouter.com/tr/blog/handle-llm-api-429-rate-limits/).

## İstem uzunluğu ödünleşimi nasıl değiştirir?

TTFT istemle birlikte büyür, çünkü model yazmaya başlamadan önce her girdi token’ını işlemek zorundadır. Bu, çok uzun istemlerin gizli maliyetidir ve [uzun bağlam ile RAG](https://broadrouter.com/tr/blog/long-context-vs-rag/) kararının bir parçasıdır: 1M token’lık bir istem RAG’ın yanıtlayamadığı soruları yanıtlar, ama daha yavaş başlar. Etkileşim hızı önemliyse sık kullanılan yolu kısa tutun ve büyük bağlamı yalnızca soru gerektirdiğinde gönderin.

## BroadNet Inference nereye uyuyor?

BroadNet, plan modeli için saniyede yaklaşık 100 token tipik hız yayımlıyor ve standart SSE biçimiyle akış yapıyor; yani yukarıdaki kod değiştirmeden çalışır. TTFT rakamları veya gecikme SLA’sı yayımlamıyor; bu yüzden karar vermeden önce kendi istemlerinizle ölçün. $1 fiyatlı bir [Meteor saati](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-latency-ttft-throughput&utm_content=body) 50 çalıştırmalık bir ölçüm için yeterlidir; başlangıç kredisi de Gemma 4 VL 26B üzerinde bir ölçümü karşılar. Büyük ölçekte garantili bir saniyenin altında gecikmeye ihtiyacınız varsa dikkatle test edin: kullandıkça öde anahtarı aynı anda 4 uçuştaki isteğe izin verir; bu da yüksek hacimli gerçek zamanlı sunumdan çok uygulamalara ve ajanlara uyar. Modeller ve fiyatları [modeller](https://broadrouter.com/tr/models/) ve [fiyatlar](https://broadrouter.com/tr/pricing/) sayfalarında.

Bu konu için ücretsiz araçlar (İngilizce)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Ücretsiz araçlar (İngilizce)](https://broadrouter.com/tools/)

## Bu yazıdaki terimler

[Token](https://broadrouter.com/tr/glossary/token/)

Token, bir dil modelinin okuduğu ve yazdığı metin birimidir: modelin tokenizer'ının ürettiği bir kelime, kelime parçası, noktalama işareti veya bayt dizisi. LLM API'leri kullanımı token cinsinden sayar, sınırlar ve genellikle faturalandırır.

[İlk token süresi (TTFT)](https://broadrouter.com/tr/glossary/time-to-first-token/)

İlk token süresi (time to first token, TTFT), bir dil modeline istek gönderildiği andan ilk çıktı token'ının geldiği ana kadar geçen süredir. Ağ süresini, sunucudaki kuyruk beklemesini ve modelin tüm istemi okuduğu ön doldurma (prefill) adımını içerir; bu yüzden istem uzunluğu ve yükle birlikte artar.

[Gecikme (latency)](https://broadrouter.com/tr/glossary/latency/)

Gecikme (latency), bir dil modeli API'sinde, isteğin gönderilmesinden son çıktı token'ının alınmasına kadar geçen süredir. İlk token süresi ile üretim süresinin toplamıdır ve genellikle ortalama yerine p50 ve p95 gibi yüzdeliklerle raporlanır.

[Akış (streaming)](https://broadrouter.com/tr/glossary/streaming/)

Akış (streaming), bir dil modeli yanıtını sonda tek parça halinde değil, hâlâ üretilirken küçük parçalar halinde döndürme yöntemidir. OpenAI uyumlu API'ler, istekte stream değeri true olduğunda server-sent events (SSE) üzerinden akış yapar.

[Eşzamanlılık (concurrency)](https://broadrouter.com/tr/glossary/concurrency/)

Eşzamanlılık (concurrency), bir istemcinin aynı anda işlemde olan istek sayısıdır. LLM API'leri bunu genellikle dakikadaki istek sayısından ayrı olarak anahtar veya plan başına sınırlar, çünkü açık her istek yanıtı bitene kadar GPU kapasitesi tutar.

[Girdi ve çıktı token'ları](https://broadrouter.com/tr/glossary/input-and-output-tokens/)

Girdi token'ları, bir dil modelinin istekte okuduğu token'lardır: sistem istemi, konuşma geçmişi, araç tanımları ve görseller dahil. Çıktı token'ları ise modelin yanıt olarak ürettikleridir, akıl yürütme dahil. LLM API'leri bunları genellikle ayrı fiyatlandırır ve çıktı genellikle daha pahalıdır.

[Saniyedeki token (tokens per second, TPS)](https://broadrouter.com/tr/glossary/tokens-per-second/)

Saniyedeki token (TPS), bir dil modelinin çıktı token'larını üretme hızıdır ve genellikle tek bir istek için ilk token geldikten sonra ölçülür. Başlayan bir yanıtın ne kadar hızlı akacağını belirler. Tüm eşzamanlı isteklerde toplandığında sistem işlem hacmine dönüşür; ilk token'dan önceki bekleme ayrıca ölçülür.

[İşlem hacmi (throughput)](https://broadrouter.com/tr/glossary/throughput/)

İşlem hacmi (throughput), LLM sunumunda bir sistemin tüm eşzamanlı isteklerde birim zamanda tamamladığı toplam iş miktarıdır; genellikle saniyedeki çıktı token'ı veya saniyedeki istek olarak ölçülür. Tek bir isteğin token'larını ne kadar hızlı aldığını gösteren akış başına hızdan farklıdır.

## Sık sorulan sorular

### Bir LLM API için iyi bir ilk token süresi ne kadar?

Sohbette, kısa istemlerde yaklaşık bir saniyenin altı hızlı hissettirir. Uzun istemler ve akıl yürütme modelleri doğası gereği daha uzun sürer. TTFT'yi yalnızca aynı istem uzunluğunda ve aynı modelde karşılaştırın.

### Saniye başına token ile işlem hacmi aynı şey mi?

Tam olarak değil. Kullanıcı başına saniye başına token, tek bir yanıtın ne kadar hızlı aktığıdır. İşlem hacmi (throughput) ise bir sunucunun tüm kullanıcılar için ürettiği toplam token'dır. Bir sağlayıcı, her kullanıcının hızı düşerken toplam işlem hacmini artırabilir.

### Akıl yürütme modelinde TTFT neden bu kadar yüksek?

Model, görünür yanıttan önce gizli akıl yürütme token'ları üretir. İlk token hızlı gelebilir, ancak ilk içerik token'ı düşünme bitene kadar bekler. Basit görevlerde reasoning\_effort değerini düşürün.

### Akış (streaming) gecikmeyi azaltır mı?

Uçtan uca süreyi kısaltmaz. Kullanıcının yanıtı yazılırken okumasını sağlar; böylece algılanan gecikme kabaca TTFT düzeyine iner.

### Güvenilir bir gecikme ölçümü için kaç istek gerekir?

Kuyruğu (tail) görecek kadar. İstem boyutu başına elli ile yüz istek, kullanılabilir bir p95 verir. Yük gün içinde değiştiği için istekleri güne yayın.

## Okumaya devam edin

-   [LLM akışı (streaming): SSE parçaları, delta, usage ve iptal](https://broadrouter.com/tr/blog/llm-streaming-sse-explained/)
-   [Önek önbelleğe alınsın diye istem nasıl yapılandırılır?](https://broadrouter.com/tr/blog/prompt-structure-for-caching/)
-   [Uzun bağlam mı RAG mı: 1M token vektör veritabanının yerini alır mı?](https://broadrouter.com/tr/blog/long-context-vs-rag/)
-   [BroadNet'in GPU donanımı ve sunum yaklaşımı, BroadNet'in anlatımıyla](https://broadrouter.com/tr/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API yanıtlarını önbelleğe alıp maliyeti düşürün: Python örneği](https://broadrouter.com/tr/blog/cache-llm-responses-cut-cost/)
-   [Rehber: Chat completions akışı ve kopan bağlantıları ele alma](https://broadrouter.com/tr/guides/streaming-chat-completions/)
-   [Rehber: Akıl yürüten model neden boş yanıt döndürür?](https://broadrouter.com/tr/guides/reasoning-tokens-empty-response/)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-latency-ttft-throughput&utm_content=page-cta) ·

**Kaynaklar**

-   [NVIDIA NIM benchmark rehberi, LLM gecikme ve işlem hacmi metrikleri (2026-11-14 tarihinde erişildi)](https://docs.nvidia.com/nim/benchmarking/llm/metrics)
-   [BroadNet Inference planları, tipik hız (2026-11-15'te kontrol edildi) (İngilizce)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [BroadNet Inference API referansı, akış ve akıl yürütme (2026-11-15'te kontrol edildi) (İngilizce)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [Baseten Inference Engineering, gecikme ve işlem hacmini ölçme (2026-11-16'da kontrol edildi)](https://www.baseten.co/inference-engineering/book/01-prerequisites/measuring-latency-and-throughput/)
