---
title: "Apakah itu masa ke token pertama (TTFT) dalam API LLM?"
description: "Masa ke token pertama (TTFT) ialah tempoh menunggu antara menghantar permintaan LLM dan menerima token output pertama. Komponennya: giliran, prefill dan rangkaian."
url: https://broadrouter.com/ms/glossary/time-to-first-token/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/time-to-first-token/) (dikemas kini 2026-11-16).

# Masa ke token pertama (TTFT)

Dikemas kini 2026-11-16

Masa ke token pertama (TTFT) ialah masa dari penghantaran permintaan kepada model bahasa sehingga token output pertama tiba. Ia termasuk masa rangkaian, giliran menunggu di pelayan dan prefill, iaitu langkah model membaca seluruh prompt, jadi ia meningkat dengan panjang prompt dan beban.

Juga dikenali sebagai: TTFT, apakah itu TTFT, kependaman token pertama, masa token pertama, time to first token, first-token latency, time to first content token, first token time

TTFT ialah jeda sebelum apa-apa berlaku. Dalam tetingkap chat ia skrin kosong; dalam bot suara ia kesenyapan.

## Cara ia berfungsi

Panduan penanda aras NVIDIA memecahkan TTFT kepada tiga bahagian: “request queuing time, prefill time, and network latency.” (Terjemahan BroadRouter: “masa permintaan menunggu giliran, masa prefill dan kependaman rangkaian.”) Setiap satu mempunyai puncanya sendiri:

| Bahagian | Apa yang mempengaruhinya | Apa yang boleh anda ubah |
| --- | --- | --- |
| Rangkaian | Jarak, persediaan TLS, proksi | Guna semula sambungan; panggil dari rantau berdekatan |
| Giliran | Tahap kesibukan pelayan | Waktu luar puncak, model atau peringkat yang kurang sibuk |
| Prefill | Panjang prompt, saiz model | Prompt lebih pendek, awalan stabil yang boleh di-cache |

Prefill biasanya bahagian terbesar untuk input panjang. Model menjalankan seluruh prompt melalui setiap lapisan untuk membina [KV cache](https://broadrouter.com/ms/glossary/kv-cache/) sebelum ia boleh menghasilkan token pertama. NVIDIA menyatakan bahawa pada pelayan yang sibuk, prefill satu permintaan boleh bertindih dengan penjanaan permintaan lain, jadi TTFT juga berubah mengikut trafik orang lain.

Dua definisi penting apabila anda membaca angka. AIPerf NVIDIA hanya mengira token pertama jika ia mengandungi kandungan. Bagi teks penstriman dalam Responses API, panduan OpenAI mengukur TTFT “until you receive the first nonempty response.output\_text.delta” (Terjemahan BroadRouter: “sehingga anda menerima response.output\_text.delta pertama yang tidak kosong”). Dengan [token penaakulan](https://broadrouter.com/ms/glossary/reasoning-tokens/), perkataan pertama yang kelihatan boleh tiba jauh lebih lewat daripada token pertama yang dijana, jadi nyatakan yang mana satu anda maksudkan.

## Mengapa ia penting

TTFT menentukan sepantas mana sesuatu produk terasa, lebih daripada kelajuan mentah. Panduan OpenAI menyatakan “a long prompt can delay the first token, especially when much of the input is new” (Terjemahan BroadRouter: “prompt yang panjang boleh melewatkan token pertama, terutamanya apabila kebanyakan input adalah baharu”). Di sinilah [token input cache](https://broadrouter.com/ms/glossary/cached-input-tokens/) membantu. Panduan yang sama menyatakan prompt caching “can reuse an eligible exact prefix match” (Terjemahan BroadRouter: “boleh menggunakan semula padanan awalan tepat yang layak”) dan mencadangkan perbandingan TTFT dengan dan tanpa cache hit. Awalan yang di-cache melangkau sebahagian prefill, jadi prompt sistem yang berulang lebih murah dan boleh bermula lebih cepat.

Bagi ejen, TTFT dibayar pada setiap langkah. Dua puluh panggilan alatan dengan TTFT dua saat menambah empat puluh saat menunggu sebelum sebarang output dikira.

TTFT ialah satu bahagian daripada [kependaman](https://broadrouter.com/ms/glossary/latency/) hujung ke hujung. Selebihnya ialah masa penjanaan, yang ditentukan oleh [token sesaat](https://broadrouter.com/ms/glossary/tokens-per-second/).

## Di BroadNet Inference

Dokumentasi BroadNet menerangkan [penstriman](https://broadrouter.com/ms/glossary/streaming/) dengan Server-Sent Events, yang berakhir dengan `data: [DONE]`; begitulah cara anda melihat token pertama di klien. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, jadi masa sehingga teks pertama yang kelihatan termasuk proses berfikir. BroadNet tidak menerbitkan angka TTFT. Untuk skrip pemasaan dan pelaporan p50/p95, lihat [kependaman LLM: TTFT vs token sesaat](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/).

## Soalan lazim

### Mengapakah TTFT perlahan apabila prompt panjang?

Model perlu membaca setiap token prompt dan membina KV cache sebelum ia boleh menulis apa-apa. Panduan metrik NVIDIA menyatakan prompt yang lebih panjang meningkatkan TTFT atas sebab inilah.

### Adakah penstriman mengurangkan masa ke token pertama?

Tidak. Penstriman membolehkan anda melihat token pertama sebaik sahaja ia wujud; tanpanya anda menunggu keseluruhan jawapan. Kerja di pelayan sebelum token itu tetap sama dalam kedua-dua cara.

### Adakah chunk pertama yang kosong dikira sebagai token pertama?

Tidak dalam kebanyakan penanda aras. AIPerf NVIDIA mengabaikan respons awal tanpa kandungan, dan OpenAI mengukur TTFT sehingga delta teks pertama yang tidak kosong.

## Lihat juga

-   [Kependaman (latency)](https://broadrouter.com/ms/glossary/latency/) (istilah)
-   [Token sesaat (tokens per second)](https://broadrouter.com/ms/glossary/tokens-per-second/) (istilah)
-   [KV cache](https://broadrouter.com/ms/glossary/kv-cache/) (istilah)
-   [Penstriman (streaming)](https://broadrouter.com/ms/glossary/streaming/) (istilah)
-   [Token input cache (cached input tokens)](https://broadrouter.com/ms/glossary/cached-input-tokens/) (istilah)
-   [Speculative decoding (penyahkodan spekulatif)](https://broadrouter.com/ms/glossary/speculative-decoding/) (istilah)
-   [Prefill dan decode](https://broadrouter.com/ms/glossary/prefill-and-decode/) (istilah)
-   [Strim chat completions dan kendalikan sambungan yang terputus](https://broadrouter.com/ms/guides/streaming-chat-completions/) (panduan)
-   [Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/) (panduan)
-   [Kependaman LLM: TTFT vs token sesaat vs masa hujung ke hujung](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/) (artikel)
-   [Penstriman LLM diterangkan: chunk SSE, delta, usage dan pembatalan](https://broadrouter.com/ms/blog/llm-streaming-sse-explained/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-time-to-first-token&utm_content=page-cta) ·

**Sumber**

-   [NVIDIA NIM, metrik penanda aras LLM (time to first token)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, panduan pengoptimuman kependaman](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Rujukan API BroadNet Inference, penstriman dan penaakulan (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-time-to-first-token&utm_content=sources)
