---
title: "Độ trễ LLM: TTFT, token/giây và end-to-end là gì | BroadRouter"
description: "Thời gian tới token đầu tiên, token mỗi giây và độ trễ end-to-end đo gì, cách đo từng chỉ số từ phía client bằng code, và cách tối ưu nào tác động tới chỉ số nào."
url: https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/llm-latency-ttft-throughput/) (cập nhật ngày 2026-11-16).

# Độ trễ LLM: TTFT, token mỗi giây và thời gian end-to-end

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày 2026-11-14 · Cập nhật 2026-11-16

TTFT (thời gian tới token đầu tiên) là thời gian chờ token đầu ra đầu tiên. Token mỗi giây là tốc độ stream. Độ trễ end-to-end là tổng: TTFT cộng thời gian sinh, xấp xỉ token đầu ra chia tốc độ. Độ dài prompt và hàng đợi quyết định TTFT, kích thước model và tải quyết định tốc độ, độ dài câu trả lời quyết định tổng. Hãy đo cả ba ở p50 và p95.

## Ý chính

-   Độ trễ end-to-end ≈ TTFT + (số token đầu ra − 1) × độ trễ giữa các token, tức xấp xỉ TTFT + số token đầu ra ÷ token mỗi giây của mỗi người dùng. Với câu trả lời dài, tốc độ và độ dài chiếm phần lớn; với câu trả lời ngắn, TTFT chiếm phần lớn.
-   Với model suy luận, token hiển thị đầu tiên chỉ đến sau phần suy nghĩ, nên hãy đo thời gian tới token nội dung đầu tiên tách biệt với thời gian tới token đầu tiên.
-   Prompt dài làm TTFT tăng vì model phải đọc toàn bộ prompt trước; tiền tố được cache thường giúp ích.
-   Ở tốc độ khoảng 100 token mỗi giây, thời gian sinh tăng theo đúng tỷ lệ độ dài câu trả lời: gấp mười lần token đầu ra thì mất khoảng gấp mười lần thời gian để stream.
-   Hãy báo cáo p50 và p95 kèm độ dài prompt; một con số trung bình không kèm kích thước prompt thì không so sánh được.

**Trong trang này**

1.  TTFT, token mỗi giây và độ trễ end-to-end là gì?
2.  Vì sao model suy luận cần con số thứ tư?
3.  Đo độ trễ từ phía client thế nào?
4.  Điều gì thực sự cải thiện từng con số?
5.  Độ dài prompt thay đổi sự đánh đổi thế nào?
6.  BroadNet Inference phù hợp ở đâu?

“API chậm quá” có thể mang ba nghĩa khác nhau, và mỗi nghĩa có cách xử lý khác nhau. Người dùng chat chờ chữ đầu tiên. Agent chờ toàn bộ lệnh gọi tool. Job batch quan tâm đến số token mỗi giờ. Bài này định nghĩa ba con số đó, chỉ cách đo chúng từ chính code của bạn, và gắn mỗi cách tối ưu với con số mà nó thực sự tác động.

## TTFT, token mỗi giây và độ trễ end-to-end là gì?

Hướng dẫn benchmark của NVIDIA đưa ra định nghĩa rõ ràng, và chúng khớp với những gì bạn quan sát được từ phía client:

| Chỉ số | Đo gì | Ai cảm nhận | Phụ thuộc vào |
| --- | --- | --- | --- |
| [Thời gian tới token đầu tiên](https://broadrouter.com/vi/glossary/time-to-first-token/) (TTFT) | Gửi request → nhận token đầu tiên | Người dùng chat | Mạng, hàng đợi, độ dài prompt (prefill), cache hit |
| Độ trễ giữa các token (ITL) | Khoảng cách trung bình giữa các token | Người đọc câu trả lời được stream | Kích thước model, phần cứng, tải server |
| [Token mỗi giây](https://broadrouter.com/vi/glossary/tokens-per-second/) trên mỗi người dùng | Số token đầu ra sau token đầu tiên ÷ thời gian sinh (từ token đầu tiên tới token cuối); bằng 1 ÷ ITL trung bình | Người đọc, agent | Giống ITL |
| Độ trễ end-to-end | Gửi request → nhận token cuối cùng | Agent, API, batch | TTFT + thời gian sinh |

Công thức nối chúng lại với nhau:

**end-to-end ≈ TTFT + (số token đầu ra − 1) × ITL ≈ TTFT + số token đầu ra ÷ token mỗi giây của mỗi người dùng**

Tốc độ trên mỗi người dùng không giống [thông lượng](https://broadrouter.com/vi/glossary/throughput/) của server, tức tổng số token một server tạo ra cho mọi người dùng; nhà cung cấp có thể tăng cái này trong khi cái kia giảm.

Lấy tốc độ điển hình BroadNet công bố cho model của gói, khoảng 100 token mỗi giây. Thời gian sinh tăng theo độ dài câu trả lời: một file code 4.000 token mất khoảng tám mươi lần thời gian sinh so với một lần phân loại 50 token, trong khi cả hai đều chờ cùng một TTFT. Với câu trả lời ngắn, TTFT chiếm phần lớn thời gian chờ; với câu trả lời dài, tốc độ và độ dài chiếm phần lớn.

## Vì sao model suy luận cần con số thứ tư?

Các model suy luận như [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/) suy nghĩ trước khi trả lời, và phần suy nghĩ cũng là token đầu ra. Nếu model dùng 800 token để suy luận ở tốc độ khoảng 100 token mỗi giây, người dùng phải chờ cả 800 token đó được sinh xong mới thấy chữ đầu tiên, dù TTFT trên đường truyền trông vẫn nhanh. Vì vậy hãy đo riêng **thời gian tới token nội dung đầu tiên**. Trên BroadNet Inference, `reasoning_effort: "low"` rút ngắn phần suy nghĩ cho các bước đơn giản; [hướng dẫn về suy luận](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/) giải thích sự đánh đổi.

## Đo độ trễ từ phía client thế nào?

Hãy đo ở nơi người dùng của bạn đang ở, với [streaming](https://broadrouter.com/vi/glossary/streaming/) được bật. Bộ đếm thời gian phía server bỏ sót mạng và mọi proxy ở giữa.

```python
import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
```

Năm quy tắc cho một benchmark công bằng:

1.  **Cố định độ dài prompt** và báo cáo nó. TTFT ở 500 token prompt và ở 200.000 token là hai con số khác nhau. [Công cụ đếm token](https://broadrouter.com/tools/token-counter/) cho bạn biết prompt thử dài bao nhiêu trước khi gửi.
2.  **Cố định độ dài đầu ra** bằng `max_tokens` và một prompt đủ để lấp đầy nó, để token mỗi giây so sánh được.
3.  **Báo cáo p50 và p95**, không phải giá trị trung bình. Độ trễ phần đuôi là thứ người dùng nhớ.
4.  **Rải các lần chạy theo thời gian.** Tải thay đổi trong ngày.
5.  **Khởi động trước.** Lệnh gọi đầu tiên phải trả cho DNS, TLS và thiết lập kết nối; hãy dùng lại một client.

## Điều gì thực sự cải thiện từng con số?

| Muốn cải thiện | Làm gì | Vì sao |
| --- | --- | --- |
| TTFT | Rút ngắn hoặc cache tiền tố prompt | Thời gian prefill tăng theo độ dài prompt; tiền tố được cache bỏ qua được phần việc |
| TTFT | Giữ kết nối sẵn sàng, dùng khu vực gần | Bỏ được thời gian thiết lập và các vòng khứ hồi |
| Thời gian tới token nội dung đầu tiên | Hạ mức suy luận, hoặc dùng model không suy luận cho bước đơn giản | Ít suy nghĩ ẩn hơn trước câu trả lời |
| Token mỗi giây | Dùng model nhỏ hơn hoặc nhanh hơn cho bước đó | Tốc độ decode phụ thuộc kích thước model và cách phục vụ |
| End-to-end | Yêu cầu đầu ra ngắn hơn (schema, giới hạn số từ) | Độ dài đầu ra nhân với ITL |
| End-to-end cho nhiều lệnh gọi | Chạy song song các lệnh gọi độc lập trong giới hạn [đồng thời](https://broadrouter.com/vi/glossary/concurrency/) | Thời gian thực tế giảm dù từng lệnh gọi vẫn như cũ |
| Độ trễ cảm nhận | Stream tới người dùng | Họ đọc trong khi model đang viết |

Độ dài đầu ra là đòn bẩy bị đánh giá thấp nhất. Yêu cầu “JSON với bốn trường này” thay vì “giải thích câu trả lời của bạn” có thể cắt thời gian sinh đi một bậc độ lớn mà không cần động đến hạ tầng. [Đầu ra có cấu trúc](https://broadrouter.com/vi/glossary/structured-output/) giúp ích ở đây.

Đòn bẩy cache được trình bày trong [cấu trúc prompt để tận dụng cache](https://broadrouter.com/vi/blog/prompt-structure-for-caching/). Đòn bẩy song song nhanh chóng đụng giới hạn tốc độ; xem [xử lý lỗi 429](https://broadrouter.com/vi/blog/handle-llm-api-429-rate-limits/).

## Độ dài prompt thay đổi sự đánh đổi thế nào?

TTFT tăng theo prompt vì model phải xử lý mọi token đầu vào trước khi có thể viết. Đó là chi phí ẩn của prompt rất dài và là một phần của quyết định [context dài hay RAG](https://broadrouter.com/vi/blog/long-context-vs-rag/): một prompt 1M token trả lời được những câu hỏi RAG không trả lời được, nhưng bắt đầu chậm hơn. Nếu tốc độ tương tác quan trọng, hãy giữ đường đi chính thật ngắn và chỉ gửi context lớn khi câu hỏi cần đến.

## BroadNet Inference phù hợp ở đâu?

BroadNet công bố tốc độ điển hình khoảng 100 token mỗi giây cho model của gói và stream theo định dạng SSE chuẩn, nên đoạn code trên chạy được mà không cần sửa. BroadNet không công bố số liệu TTFT hay SLA về độ trễ, vì vậy hãy đo trên prompt của chính bạn trước khi cam kết; một [giờ Meteor](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-latency-ttft-throughput&utm_content=body) giá $1 là đủ cho benchmark 50 lần chạy, và tín dụng khởi đầu đủ cho một lần như vậy trên Gemma 4 VL 26B. Nếu bạn cần độ trễ dưới một giây được đảm bảo ở quy mô lớn, hãy thử nghiệm kỹ: một key trả theo mức dùng cho phép 4 request đang chạy, phù hợp với ứng dụng và agent hơn là phục vụ thời gian thực khối lượng lớn. Các model và giá có trên trang [model](https://broadrouter.com/vi/models/) và [bảng giá](https://broadrouter.com/vi/pricing/).

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Thời gian tới token đầu tiên (TTFT)](https://broadrouter.com/vi/glossary/time-to-first-token/)

Thời gian tới token đầu tiên (TTFT) là khoảng thời gian từ lúc gửi request tới model ngôn ngữ cho tới khi token đầu ra đầu tiên đến. Nó gồm thời gian mạng, thời gian xếp hàng trên server và prefill, bước model đọc toàn bộ prompt, nên tăng theo độ dài prompt và tải.

[Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/)

Với API model ngôn ngữ, độ trễ (latency) là thời gian từ lúc gửi request tới khi nhận được token đầu ra cuối cùng. Nó bằng thời gian tới token đầu tiên cộng thời gian sinh, và thường được báo cáo theo percentile như p50 và p95 thay vì giá trị trung bình.

[Số token mỗi giây (tokens per second, TPS)](https://broadrouter.com/vi/glossary/tokens-per-second/)

Số token mỗi giây (TPS) là tốc độ model ngôn ngữ sinh token đầu ra, thường đo cho một request sau khi token đầu tiên tới. Nó quyết định câu trả lời stream nhanh đến đâu. Cộng trên mọi request đồng thời, nó thành thông lượng hệ thống; thời gian chờ trước token đầu tiên được đo riêng.

[Token đầu vào và đầu ra (input and output tokens)](https://broadrouter.com/vi/glossary/input-and-output-tokens/)

Token đầu vào là token mà model ngôn ngữ đọc trong một request, gồm system prompt, lịch sử hội thoại, định nghĩa tool và hình ảnh. Token đầu ra là token nó sinh ra để trả lời, kể cả phần suy luận. API LLM thường tính giá riêng cho hai loại, và đầu ra thường đắt hơn.

[Prefill và decode](https://broadrouter.com/vi/glossary/prefill-and-decode/)

Prefill và decode là hai giai đoạn của LLM inference. Ở prefill, model xử lý song song toàn bộ prompt và lấp đầy KV cache; ở decode, model sinh câu trả lời từng token một, dùng lại cache đó. Prefill chủ yếu quyết định time to first token; decode quyết định tốc độ đầu ra.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/)

Streaming là cách trả phản hồi của model ngôn ngữ thành từng chunk nhỏ ngay trong lúc nó đang được sinh, thay vì một câu trả lời trọn vẹn ở cuối. Các API tương thích OpenAI stream qua server-sent events khi request đặt stream là true.

## Câu hỏi thường gặp

### Thời gian tới token đầu tiên (TTFT) bao nhiêu là tốt cho API LLM?

Với chat, dưới khoảng một giây trên prompt ngắn là cảm thấy nhanh. Prompt dài và model suy luận vốn mất nhiều thời gian hơn. Chỉ so sánh TTFT ở cùng độ dài prompt và cùng model.

### Token mỗi giây có giống thông lượng không?

Không hẳn. Token mỗi giây trên mỗi người dùng là tốc độ một câu trả lời được stream. Thông lượng là tổng số token một server tạo ra cho mọi người dùng. Nhà cung cấp có thể tăng tổng thông lượng trong khi tốc độ của từng người dùng giảm xuống.

### Vì sao TTFT của model suy luận cao như vậy?

Model tạo ra token suy luận ẩn trước câu trả lời hiển thị. Token đầu tiên có thể đến nhanh, nhưng token nội dung đầu tiên phải chờ đến khi suy nghĩ xong. Hãy hạ reasoning\_effort cho tác vụ đơn giản.

### Streaming có giảm độ trễ không?

Nó không rút ngắn thời gian end-to-end. Nó cho người dùng đọc câu trả lời trong khi câu trả lời vẫn đang được viết, nên độ trễ cảm nhận giảm xuống gần bằng TTFT.

### Cần bao nhiêu request cho một benchmark độ trễ đáng tin cậy?

Đủ để thấy phần đuôi. Năm mươi đến một trăm request cho mỗi kích thước prompt sẽ cho p95 dùng được. Hãy rải chúng ra trong ngày, vì tải thay đổi.

## Đọc tiếp

-   [Giải thích streaming LLM: chunk SSE, delta, usage và hủy](https://broadrouter.com/vi/blog/llm-streaming-sse-explained/)
-   [Cách cấu trúc prompt để phần đầu được cache](https://broadrouter.com/vi/blog/prompt-structure-for-caching/)
-   [Long context và RAG: khi 1M token thay được vector DB](https://broadrouter.com/vi/blog/long-context-vs-rag/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Hướng dẫn: Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/)
-   [Hướng dẫn: Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-latency-ttft-throughput&utm_content=page-cta) ·

**Nguồn**

-   [Hướng dẫn benchmark NVIDIA NIM, chỉ số độ trễ và thông lượng LLM (truy cập ngày 2026-11-14)](https://docs.nvidia.com/nim/benchmarking/llm/metrics)
-   [Các gói BroadNet Inference, tốc độ điển hình (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [Tài liệu tham chiếu API BroadNet Inference, streaming và suy luận (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [Baseten Inference Engineering, đo độ trễ và thông lượng (kiểm tra ngày 2026-11-16)](https://www.baseten.co/inference-engineering/book/01-prerequisites/measuring-latency-and-throughput/)
