BroadRouter

Thời gian tới token đầu tiên (TTFT)

Cập nhật

Thời gian tới token đầu tiên (TTFT) là khoảng thời gian từ lúc gửi request tới model ngôn ngữ cho tới khi token đầu ra đầu tiên đến. Nó gồm thời gian mạng, thời gian xếp hàng trên server và prefill, bước model đọc toàn bộ prompt, nên tăng theo độ dài prompt và tải.

Còn gọi là: TTFT, TTFT là gì, độ trễ token đầu tiên, thời gian phản hồi đầu tiên, time to first token, first-token latency, time to first content token, first token time

TTFT là khoảng lặng trước khi mọi thứ bắt đầu. Trong cửa sổ chat, đó là màn hình trống; trong voice bot, đó là sự im lặng.

Cách hoạt động

Hướng dẫn benchmark của NVIDIA chia TTFT thành ba phần: “request queuing time, prefill time, and network latency.” (Bản dịch: thời gian xếp hàng của request, thời gian prefill và độ trễ mạng). Mỗi phần có nguyên nhân riêng:

Phần Yếu tố quyết định Bạn có thể thay đổi gì
Mạng Khoảng cách, thiết lập TLS, proxy Tái sử dụng kết nối; gọi từ region gần
Hàng đợi Mức độ bận của server Chọn giờ thấp điểm, model hoặc tier ít tải hơn
Prefill Độ dài prompt, kích thước model Prompt ngắn hơn, phần đầu cố định có thể cache

Với đầu vào dài, prefill thường là phần lớn nhất. Model chạy toàn bộ prompt qua mọi layer để dựng KV cache trước khi có thể tạo token thứ nhất. NVIDIA lưu ý rằng trên một server bận, prefill của request này có thể chồng lên phần sinh của request khác, nên TTFT cũng biến động theo traffic của người khác.

Có hai định nghĩa cần chú ý khi đọc số liệu. AIPerf của NVIDIA chỉ tính token đầu tiên nếu nó có nội dung. Với text streaming trong Responses API, hướng dẫn của OpenAI đo TTFT “until you receive the first nonempty response.output_text.delta” (Bản dịch: cho tới khi bạn nhận được response.output_text.delta không rỗng đầu tiên). Với token suy luận, chữ đầu tiên nhìn thấy có thể đến muộn hơn nhiều so với token đầu tiên được sinh, nên hãy nói rõ bạn đang nói tới cái nào.

Vì sao quan trọng

TTFT quyết định cảm giác sản phẩm nhanh hay chậm, nhiều hơn tốc độ thuần túy. Hướng dẫn của OpenAI nói “a long prompt can delay the first token, especially when much of the input is new” (Bản dịch: prompt dài có thể làm chậm token đầu tiên, nhất là khi phần lớn đầu vào là mới). Đây là chỗ token đầu vào từ cache giúp ích. Cùng hướng dẫn đó nói prompt caching “can reuse an eligible exact prefix match” (Bản dịch: có thể tái dùng một phần đầu khớp chính xác đủ điều kiện) và gợi ý so sánh TTFT khi có và không có cache hit. Phần đầu đã cache bỏ qua một phần prefill, nên một system prompt lặp lại rẻ hơn và có thể bắt đầu sớm hơn.

Với agent, TTFT bị trả ở mỗi bước. Hai mươi lệnh gọi tool với TTFT hai giây cộng thêm bốn mươi giây chờ, chưa tính đầu ra.

TTFT là một phần của độ trễ end-to-end. Phần còn lại là thời gian sinh, do số token mỗi giây quyết định.

Trên BroadNet Inference

Tài liệu BroadNet mô tả streaming bằng Server-Sent Events, kết thúc bằng data: [DONE], đây là cách bạn quan sát token đầu tiên ở phía client. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, nên thời gian tới chữ nhìn thấy đầu tiên bao gồm cả thời gian suy nghĩ. BroadNet không công bố số liệu TTFT. Để có script đo và cách báo cáo p50/p95, xem độ trễ LLM: TTFT và token mỗi giây.

Câu hỏi thường gặp

Vì sao TTFT chậm khi prompt dài?

Model phải đọc mọi token của prompt và dựng KV cache trước khi có thể viết bất cứ gì. Hướng dẫn chỉ số của NVIDIA nói prompt dài hơn làm TTFT tăng chính vì lý do này.

Streaming có làm giảm thời gian tới token đầu tiên không?

Không. Streaming cho bạn thấy token đầu tiên ngay khi nó xuất hiện; không có streaming, bạn phải chờ cả câu trả lời. Phần việc phía server trước token đó là như nhau.

Chunk đầu tiên rỗng có được tính là token đầu tiên không?

Ở phần lớn benchmark thì không. AIPerf của NVIDIA bỏ qua các phản hồi ban đầu không có nội dung, còn OpenAI đo TTFT tới text delta đầu tiên không rỗng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity