---
title: "Apakah kependaman LLM: TTFT, token/saat, hujung ke hujung"
description: "Apa yang diukur oleh TTFT, token sesaat dan kependaman hujung ke hujung, cara mengukur setiap satu dari klien dengan kod, dan pembaikan yang sesuai bagi setiap satu."
url: https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/llm-latency-ttft-throughput/) (dikemas kini 2026-11-16).

# Kependaman LLM: TTFT vs token sesaat vs masa hujung ke hujung

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan 2026-11-14 · Dikemas kini 2026-11-16

Time to first token (TTFT) ialah masa menunggu sebelum token output pertama. Token sesaat ialah kelajuan jawapan distrim selepas itu. Kependaman hujung ke hujung ialah jumlahnya: TTFT ditambah masa penjanaan, iaitu lebih kurang token output dibahagi dengan kelajuan setiap pengguna. Panjang prompt dan baris gilir mempengaruhi TTFT, saiz model dan beban mempengaruhi kelajuan, dan panjang jawapan mempengaruhi jumlah. Ukur ketiga-tiganya pada p50 dan p95.

## Perkara utama

-   Kependaman hujung ke hujung ≈ TTFT + (token output − 1) × kependaman antara token, lebih kurang TTFT + token output ÷ token sesaat setiap pengguna. Untuk jawapan panjang, kelajuan dan panjang mendominasi; untuk jawapan pendek, TTFT.
-   Pada model penaakulan, token pertama yang kelihatan datang selepas proses berfikir, jadi ukur time to first content token secara berasingan daripada time to first token.
-   Prompt panjang menaikkan TTFT kerana model membaca keseluruhan prompt dahulu; awalan yang dicache biasanya membantu.
-   Pada kira-kira 100 token sesaat, masa penjanaan bertambah seiring panjang jawapan: sepuluh kali ganda token output mengambil kira-kira sepuluh kali ganda masa untuk distrim.
-   Laporkan p50 dan p95 bersama panjang prompt; purata tanpa saiz prompt tidak boleh dibandingkan.

**Dalam halaman ini**

1.  Apakah TTFT, token sesaat dan kependaman hujung ke hujung?
2.  Mengapakah model penaakulan memerlukan angka keempat?
3.  Bagaimanakah anda mengukur kependaman dari klien?
4.  Apakah yang benar-benar memperbaiki setiap angka?
5.  Bagaimanakah panjang prompt mengubah pertukaran ini?
6.  Di manakah BroadNet Inference sesuai

“API ini lambat” boleh bermaksud tiga perkara berbeza, dan setiap satu ada pembaikan yang berbeza. Pengguna chat menunggu perkataan pertama. Ejen menunggu keseluruhan panggilan alat. Kerja batch mementingkan token sejam. Catatan ini mentakrifkan tiga angka itu, menunjukkan cara mengukurnya daripada kod anda sendiri, dan memadankan setiap pembaikan dengan angka yang benar-benar digerakkannya.

## Apakah TTFT, token sesaat dan kependaman hujung ke hujung?

Panduan penanda aras NVIDIA memberi takrif yang jelas, dan ia sepadan dengan apa yang boleh anda perhatikan dari klien:

| Metrik | Apa yang diukur | Siapa yang merasainya | Dipengaruhi oleh |
| --- | --- | --- | --- |
| [Time to first token](https://broadrouter.com/ms/glossary/time-to-first-token/) (TTFT) | Permintaan dihantar → token pertama diterima | Pengguna chat | Rangkaian, baris gilir, panjang prompt (prefill), cache hit |
| Kependaman antara token (ITL) | Purata jarak antara token | Pembaca jawapan yang distrim | Saiz model, perkakasan, beban pelayan |
| [Token sesaat](https://broadrouter.com/ms/glossary/tokens-per-second/) setiap pengguna | Token output selepas token pertama ÷ masa penjanaan (dari token pertama hingga terakhir); sama dengan 1 ÷ purata ITL | Pembaca, ejen | Sama seperti ITL |
| Kependaman hujung ke hujung | Permintaan dihantar → token terakhir diterima | Ejen, API, batch | TTFT + masa penjanaan |

Formula yang menghubungkan semuanya:

**hujung ke hujung ≈ TTFT + (token output − 1) × ITL ≈ TTFT + token output ÷ token sesaat setiap pengguna**

Kelajuan setiap pengguna tidak sama dengan [daya pemprosesan](https://broadrouter.com/ms/glossary/throughput/) pelayan, iaitu jumlah token yang dihasilkan pelayan untuk semua pengguna; penyedia boleh menaikkan satu sementara satu lagi menurun.

Ambil kelajuan biasa yang diterbitkan BroadNet untuk model pelannya, kira-kira 100 token sesaat. Masa penjanaan bertambah dengan panjang jawapan: fail kod 4,000 token mengambil masa kira-kira lapan puluh kali ganda berbanding pengelasan 50 token, sedangkan kedua-duanya menunggu TTFT yang sama. Untuk jawapan pendek, TTFT ialah sebahagian besar masa menunggu; untuk jawapan panjang, kelajuan dan panjang.

## Mengapakah model penaakulan memerlukan angka keempat?

Model penaakulan seperti [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) berfikir sebelum menjawab, dan proses berfikir itu juga token output. Jika model menggunakan 800 token untuk penaakulan pada kira-kira 100 token sesaat, pengguna menunggu kesemua 800 token itu dijana sebelum perkataan pertama kelihatan, walaupun TTFT pada rangkaian kelihatan pantas. Jadi ukur **time to first content token** secara berasingan. Di BroadNet Inference, `reasoning_effort: "low"` memendekkan proses berfikir untuk langkah mudah; [panduan penaakulan](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/) menerangkan pertukarannya.

## Bagaimanakah anda mengukur kependaman dari klien?

Ukur di tempat pengguna anda berada, dengan [penstriman](https://broadrouter.com/ms/glossary/streaming/) dihidupkan. Pemasa di sisi pelayan tidak mengambil kira rangkaian dan mana-mana proksi.

```python
import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
```

Lima peraturan untuk penanda aras yang adil:

1.  **Tetapkan panjang prompt** dan laporkannya. TTFT pada 500 token prompt dan pada 200,000 ialah angka yang berbeza. [Pembilang token](https://broadrouter.com/tools/token-counter/) memberitahu panjang prompt ujian sebelum anda menghantarnya.
2.  **Tetapkan panjang output** dengan `max_tokens` dan prompt yang mengisinya, supaya token sesaat boleh dibandingkan.
3.  **Laporkan p50 dan p95**, bukan min. Kependaman ekor ialah apa yang diingati pengguna.
4.  **Sebarkan larian mengikut masa.** Beban berubah sepanjang hari.
5.  **Panaskan dahulu.** Panggilan pertama menanggung DNS, TLS dan persediaan sambungan; guna semula satu klien.

## Apakah yang benar-benar memperbaiki setiap angka?

| Untuk memperbaiki | Lakukan ini | Mengapa |
| --- | --- | --- |
| TTFT | Pendekkan atau cache awalan prompt | Masa prefill bertambah dengan panjang prompt; awalan yang dicache melangkau kerja |
| TTFT | Kekalkan sambungan aktif, gunakan rantau berdekatan | Menghapuskan persediaan dan perjalanan pergi balik |
| Time to first content token | Rendahkan usaha penaakulan, atau gunakan model bukan penaakulan untuk langkah mudah | Kurang proses berfikir tersembunyi sebelum jawapan |
| Token sesaat | Gunakan model lebih kecil atau lebih pantas untuk langkah itu | Kelajuan nyahkod bergantung pada saiz model dan cara ia disediakan |
| Hujung ke hujung | Minta output lebih pendek (skema, had perkataan) | Panjang output menggandakan ITL |
| Hujung ke hujung untuk banyak panggilan | Jalankan panggilan bebas secara selari dalam had [keserentakan](https://broadrouter.com/ms/glossary/concurrency/) anda | Masa sebenar berkurang walaupun setiap panggilan sama |
| Kependaman yang dirasai | Strim kepada pengguna | Mereka membaca sementara model menulis |

Panjang output ialah tuas yang paling dipandang remeh. Meminta “JSON dengan empat medan ini” dan bukannya “terangkan jawapan anda” boleh memotong masa penjanaan sebanyak satu tertib magnitud tanpa sebarang kerja infrastruktur. [Output berstruktur](https://broadrouter.com/ms/glossary/structured-output/) membantu di sini.

Tuas cache dibincangkan dalam [struktur prompt untuk caching](https://broadrouter.com/ms/blog/prompt-structure-for-caching/). Tuas keselarian cepat bertembung dengan had kadar; lihat [mengendalikan ralat 429](https://broadrouter.com/ms/blog/handle-llm-api-429-rate-limits/).

## Bagaimanakah panjang prompt mengubah pertukaran ini?

TTFT bertambah dengan prompt kerana model mesti memproses setiap token input sebelum ia boleh menulis. Itulah kos tersembunyi prompt yang sangat panjang dan sebahagian daripada keputusan [konteks panjang vs RAG](https://broadrouter.com/ms/blog/long-context-vs-rag/): prompt 1M token menjawab soalan yang tidak dapat dijawab RAG, tetapi ia bermula lebih perlahan. Jika kelajuan interaktif penting, pastikan laluan utama pendek dan hantar konteks besar hanya apabila soalan memerlukannya.

## Di manakah BroadNet Inference sesuai

BroadNet menerbitkan kelajuan biasa kira-kira 100 token sesaat untuk model pelannya dan menstrim dengan format SSE standard, jadi kod di atas berfungsi tanpa perubahan. Ia tidak menerbitkan angka TTFT atau SLA kependaman, jadi ukur pada prompt anda sendiri sebelum membuat komitmen; satu [jam Meteor](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-latency-ttft-throughput&utm_content=body) $1 cukup untuk penanda aras 50 larian, dan kredit permulaan meliputi satu penanda aras pada Gemma 4 VL 26B. Jika anda memerlukan kependaman di bawah satu saat yang dijamin pada skala besar, uji dengan teliti: kunci bayar ikut guna membenarkan 4 permintaan serentak, yang lebih sesuai untuk aplikasi dan ejen berbanding penyediaan masa nyata bervolum tinggi. Model dan harganya ada di halaman [model](https://broadrouter.com/ms/models/) dan [harga](https://broadrouter.com/ms/pricing/).

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Masa ke token pertama (TTFT)](https://broadrouter.com/ms/glossary/time-to-first-token/)

Masa ke token pertama (TTFT) ialah masa dari penghantaran permintaan kepada model bahasa sehingga token output pertama tiba. Ia termasuk masa rangkaian, giliran menunggu di pelayan dan prefill, iaitu langkah model membaca seluruh prompt, jadi ia meningkat dengan panjang prompt dan beban.

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Token input dan output (input and output tokens)](https://broadrouter.com/ms/glossary/input-and-output-tokens/)

Token input ialah token yang dibaca oleh model bahasa dalam satu permintaan, termasuk prompt sistem, sejarah perbualan, definisi alatan dan imej. Token output ialah token yang dijananya sebagai balasan, termasuk sebarang penaakulan. API LLM biasanya meletakkan harga berasingan, dan output biasanya lebih mahal.

[Token sesaat (tokens per second)](https://broadrouter.com/ms/glossary/tokens-per-second/)

Token sesaat (TPS) ialah kadar model bahasa menjana token output, biasanya diukur bagi satu permintaan selepas token pertamanya tiba. Ia menentukan sepantas mana jawapan distrim sebaik bermula. Apabila dijumlahkan merentas semua permintaan serentak, ia menjadi daya pemprosesan sistem; masa menunggu sebelum token pertama diukur secara berasingan.

[Daya pemprosesan (throughput)](https://broadrouter.com/ms/glossary/throughput/)

Daya pemprosesan (throughput), dalam penyajian LLM, ialah jumlah kerja yang disiapkan sistem bagi setiap unit masa merentas semua permintaan serentak, biasanya diukur sebagai token output sesaat atau permintaan sesaat. Ia berbeza daripada kelajuan setiap strim, iaitu sepantas mana satu permintaan menerima tokennya.

[Penstriman (streaming)](https://broadrouter.com/ms/glossary/streaming/)

Penstriman ialah cara memulangkan respons model bahasa dalam cebisan kecil semasa ia masih dijana, dan bukan sebagai satu jawapan di penghujung. API serasi OpenAI menstrim melalui server-sent events apabila permintaan menetapkan stream kepada true.

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

## Soalan lazim

### Berapakah time to first token yang baik untuk API LLM?

Untuk chat, kurang daripada kira-kira satu saat pada prompt pendek terasa responsif. Prompt panjang dan model penaakulan memang mengambil masa lebih lama. Bandingkan TTFT hanya pada panjang prompt dan model yang sama.

### Adakah token sesaat sama dengan daya pemprosesan?

Tidak sepenuhnya. Token sesaat setiap pengguna ialah kelajuan satu jawapan distrim. Daya pemprosesan ialah jumlah token yang dihasilkan pelayan untuk semua pengguna. Penyedia boleh menaikkan jumlah daya pemprosesan sementara kelajuan setiap pengguna menurun.

### Mengapakah TTFT sangat tinggi pada model penaakulan?

Model menjana token penaakulan tersembunyi sebelum jawapan yang kelihatan. Token pertama mungkin tiba dengan cepat, tetapi token kandungan pertama menunggu sehingga proses berfikir selesai. Rendahkan reasoning\_effort untuk tugasan mudah.

### Adakah penstriman mengurangkan kependaman?

Ia tidak memendekkan masa hujung ke hujung. Ia membolehkan pengguna membaca jawapan semasa ia masih ditulis, jadi kependaman yang dirasai turun kepada lebih kurang TTFT.

### Berapa banyak permintaan yang saya perlukan untuk penanda aras kependaman yang boleh dipercayai?

Cukup untuk melihat ekornya. Lima puluh hingga seratus permintaan bagi setiap saiz prompt memberi p95 yang boleh digunakan. Sebarkan sepanjang hari, kerana beban berubah.

## Teruskan membaca

-   [Penstriman LLM diterangkan: chunk SSE, delta, usage dan pembatalan](https://broadrouter.com/ms/blog/llm-streaming-sse-explained/)
-   [Cara menyusun prompt supaya prefix di-cache](https://broadrouter.com/ms/blog/prompt-structure-for-caching/)
-   [Konteks panjang vs RAG: bila 1M token menggantikan DB vektor](https://broadrouter.com/ms/blog/long-context-vs-rag/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Strim chat completions dan kendalikan sambungan yang terputus](https://broadrouter.com/ms/guides/streaming-chat-completions/)
-   [Panduan: Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-latency-ttft-throughput&utm_content=page-cta) ·

**Sumber**

-   [Panduan penanda aras NVIDIA NIM, metrik kependaman dan daya pemprosesan LLM (disemak 2026-11-14)](https://docs.nvidia.com/nim/benchmarking/llm/metrics)
-   [Pelan BroadNet Inference, kelajuan biasa (disemak 2026-11-15) (Bahasa Inggeris)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [Rujukan API BroadNet Inference, penstriman dan penaakulan (disemak 2026-11-15) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [Baseten Inference Engineering, mengukur kependaman dan daya pemprosesan (disemak 2026-11-16)](https://www.baseten.co/inference-engineering/book/01-prerequisites/measuring-latency-and-throughput/)
