---
title: "TTFT (thời gian tới token đầu tiên) trong API LLM là gì?"
description: "Thời gian tới token đầu tiên (TTFT) là khoảng chờ từ lúc gửi request LLM tới khi nhận token đầu ra đầu tiên. Nó gồm những gì: hàng đợi, prefill và mạng."
url: https://broadrouter.com/vi/glossary/time-to-first-token/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/time-to-first-token/) (cập nhật ngày 2026-11-16).

# Thời gian tới token đầu tiên (TTFT)

Cập nhật 2026-11-16

Thời gian tới token đầu tiên (TTFT) là khoảng thời gian từ lúc gửi request tới model ngôn ngữ cho tới khi token đầu ra đầu tiên đến. Nó gồm thời gian mạng, thời gian xếp hàng trên server và prefill, bước model đọc toàn bộ prompt, nên tăng theo độ dài prompt và tải.

Còn gọi là: TTFT, TTFT là gì, độ trễ token đầu tiên, thời gian phản hồi đầu tiên, time to first token, first-token latency, time to first content token, first token time

TTFT là khoảng lặng trước khi mọi thứ bắt đầu. Trong cửa sổ chat, đó là màn hình trống; trong voice bot, đó là sự im lặng.

## Cách hoạt động

Hướng dẫn benchmark của NVIDIA chia TTFT thành ba phần: “request queuing time, prefill time, and network latency.” (Bản dịch: thời gian xếp hàng của request, thời gian prefill và độ trễ mạng). Mỗi phần có nguyên nhân riêng:

| Phần | Yếu tố quyết định | Bạn có thể thay đổi gì |
| --- | --- | --- |
| Mạng | Khoảng cách, thiết lập TLS, proxy | Tái sử dụng kết nối; gọi từ region gần |
| Hàng đợi | Mức độ bận của server | Chọn giờ thấp điểm, model hoặc tier ít tải hơn |
| Prefill | Độ dài prompt, kích thước model | Prompt ngắn hơn, phần đầu cố định có thể cache |

Với đầu vào dài, prefill thường là phần lớn nhất. Model chạy toàn bộ prompt qua mọi layer để dựng [KV cache](https://broadrouter.com/vi/glossary/kv-cache/) trước khi có thể tạo token thứ nhất. NVIDIA lưu ý rằng trên một server bận, prefill của request này có thể chồng lên phần sinh của request khác, nên TTFT cũng biến động theo traffic của người khác.

Có hai định nghĩa cần chú ý khi đọc số liệu. AIPerf của NVIDIA chỉ tính token đầu tiên nếu nó có nội dung. Với text streaming trong Responses API, hướng dẫn của OpenAI đo TTFT “until you receive the first nonempty response.output\_text.delta” (Bản dịch: cho tới khi bạn nhận được response.output\_text.delta không rỗng đầu tiên). Với [token suy luận](https://broadrouter.com/vi/glossary/reasoning-tokens/), chữ đầu tiên nhìn thấy có thể đến muộn hơn nhiều so với token đầu tiên được sinh, nên hãy nói rõ bạn đang nói tới cái nào.

## Vì sao quan trọng

TTFT quyết định cảm giác sản phẩm nhanh hay chậm, nhiều hơn tốc độ thuần túy. Hướng dẫn của OpenAI nói “a long prompt can delay the first token, especially when much of the input is new” (Bản dịch: prompt dài có thể làm chậm token đầu tiên, nhất là khi phần lớn đầu vào là mới). Đây là chỗ [token đầu vào từ cache](https://broadrouter.com/vi/glossary/cached-input-tokens/) giúp ích. Cùng hướng dẫn đó nói prompt caching “can reuse an eligible exact prefix match” (Bản dịch: có thể tái dùng một phần đầu khớp chính xác đủ điều kiện) và gợi ý so sánh TTFT khi có và không có cache hit. Phần đầu đã cache bỏ qua một phần prefill, nên một system prompt lặp lại rẻ hơn và có thể bắt đầu sớm hơn.

Với agent, TTFT bị trả ở mỗi bước. Hai mươi lệnh gọi tool với TTFT hai giây cộng thêm bốn mươi giây chờ, chưa tính đầu ra.

TTFT là một phần của [độ trễ](https://broadrouter.com/vi/glossary/latency/) end-to-end. Phần còn lại là thời gian sinh, do [số token mỗi giây](https://broadrouter.com/vi/glossary/tokens-per-second/) quyết định.

## Trên BroadNet Inference

Tài liệu BroadNet mô tả [streaming](https://broadrouter.com/vi/glossary/streaming/) bằng Server-Sent Events, kết thúc bằng `data: [DONE]`, đây là cách bạn quan sát token đầu tiên ở phía client. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, nên thời gian tới chữ nhìn thấy đầu tiên bao gồm cả thời gian suy nghĩ. BroadNet không công bố số liệu TTFT. Để có script đo và cách báo cáo p50/p95, xem [độ trễ LLM: TTFT và token mỗi giây](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/).

## Câu hỏi thường gặp

### Vì sao TTFT chậm khi prompt dài?

Model phải đọc mọi token của prompt và dựng KV cache trước khi có thể viết bất cứ gì. Hướng dẫn chỉ số của NVIDIA nói prompt dài hơn làm TTFT tăng chính vì lý do này.

### Streaming có làm giảm thời gian tới token đầu tiên không?

Không. Streaming cho bạn thấy token đầu tiên ngay khi nó xuất hiện; không có streaming, bạn phải chờ cả câu trả lời. Phần việc phía server trước token đó là như nhau.

### Chunk đầu tiên rỗng có được tính là token đầu tiên không?

Ở phần lớn benchmark thì không. AIPerf của NVIDIA bỏ qua các phản hồi ban đầu không có nội dung, còn OpenAI đo TTFT tới text delta đầu tiên không rỗng.

## Xem thêm

-   [Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/) (thuật ngữ)
-   [Số token mỗi giây (tokens per second, TPS)](https://broadrouter.com/vi/glossary/tokens-per-second/) (thuật ngữ)
-   [KV cache (bộ nhớ đệm key-value)](https://broadrouter.com/vi/glossary/kv-cache/) (thuật ngữ)
-   [Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/) (thuật ngữ)
-   [Token đầu vào từ cache (cached input tokens)](https://broadrouter.com/vi/glossary/cached-input-tokens/) (thuật ngữ)
-   [Speculative decoding (giải mã suy đoán)](https://broadrouter.com/vi/glossary/speculative-decoding/) (thuật ngữ)
-   [Prefill và decode](https://broadrouter.com/vi/glossary/prefill-and-decode/) (thuật ngữ)
-   [Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/) (hướng dẫn)
-   [Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/) (hướng dẫn)
-   [Độ trễ LLM: TTFT, token mỗi giây và thời gian end-to-end](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/) (bài viết)
-   [Giải thích streaming LLM: chunk SSE, delta, usage và hủy](https://broadrouter.com/vi/blog/llm-streaming-sse-explained/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-time-to-first-token&utm_content=page-cta) ·

**Nguồn**

-   [NVIDIA NIM, các chỉ số benchmark LLM (thời gian tới token đầu tiên)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, hướng dẫn tối ưu độ trễ](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Tài liệu tham chiếu API BroadNet Inference, streaming và suy luận (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-time-to-first-token&utm_content=sources)
