---
title: "Số token mỗi giây (TPS) trong inference LLM là gì? | BroadRouter"
description: "Số token mỗi giây đo tốc độ LLM sinh đầu ra. Tốc độ từng request và thông lượng hệ thống, thời gian tới token đầu tiên, cách ước tính thời gian trả lời."
url: https://broadrouter.com/vi/glossary/tokens-per-second/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/tokens-per-second/) (cập nhật ngày 2026-11-14).

# Số token mỗi giây (tokens per second, TPS)

Cập nhật 2026-11-14

Số token mỗi giây (TPS) là tốc độ model ngôn ngữ sinh token đầu ra, thường đo cho một request sau khi token đầu tiên tới. Nó quyết định câu trả lời stream nhanh đến đâu. Cộng trên mọi request đồng thời, nó thành thông lượng hệ thống; thời gian chờ trước token đầu tiên được đo riêng.

Còn gọi là: token mỗi giây, tốc độ sinh token, tốc độ đầu ra, tốc độ LLM, TPS, tok/s, output speed, generation speed

Tốc độ có hai phần: bao lâu trước khi có gì đó hiện ra, và sau đó chữ chảy ra nhanh đến đâu. Số token mỗi giây đo phần thứ hai.

## Cách hoạt động

Tài liệu benchmark của NVIDIA định nghĩa các chỉ số liên quan:

-   **Thời gian tới token đầu tiên (TTFT):** từ lúc gửi request tới lúc nhận token đầu tiên. Nó tăng theo độ dài prompt.
-   **Độ trễ giữa các token (ITL):** khoảng cách trung bình giữa các token đầu ra.
-   **TPS mỗi người dùng:** số token đầu ra của một request chia cho thời gian đầu-cuối của nó, nên theo định nghĩa của NVIDIA nó bao gồm TTFT. Nhiều dashboard thì ghi tốc độ decode sau token đầu tiên, như trang này.
-   **TPS hệ thống:** tổng token đầu ra trên mọi request đồng thời, còn gọi là [thông lượng](https://broadrouter.com/vi/glossary/throughput/).

Chúng kéo về hai hướng ngược nhau. NVIDIA lưu ý khi [concurrency](https://broadrouter.com/vi/glossary/concurrency/) tăng, TPS hệ thống tăng còn TPS mỗi người dùng giảm. Con số quảng cáo của nhà cung cấp và tốc độ của một request đơn lẻ của bạn có thể đều trung thực mà vẫn khác nhau.

Ước tính nhanh cho một câu trả lời:

`total time ≈ TTFT + output tokens ÷ tokens per second`

Tức là tổng thời gian xấp xỉ TTFT cộng số token đầu ra chia cho số token mỗi giây. Lấy ví dụ một luồng 50 token mỗi giây: câu trả lời 1.000 token mất khoảng 20 giây sau token đầu tiên. Nếu model còn viết 2.000 [token suy luận](https://broadrouter.com/vi/glossary/reasoning-tokens/), cộng thêm khoảng 40 giây trước khi câu trả lời bắt đầu. [Thời gian tới token đầu tiên](https://broadrouter.com/vi/glossary/time-to-first-token/) còn phải cộng thêm.

## Vì sao quan trọng

-   **Trải nghiệm người dùng.** [Streaming](https://broadrouter.com/vi/glossary/streaming/) hiển thị chữ ngay khi tới, nên TTFT và TPS quyết định câu trả lời có cảm giác nhanh đến đâu.
-   **Thông lượng của agent.** Một coding agent chờ từng câu trả lời trước bước tiếp theo. Đầu ra nhanh hơn nghĩa là nhiều bước hơn mỗi giờ.
-   **Giới hạn của gói.** Với gói không có đồng hồ đo token, tốc độ trở thành mức trần thực sự cho số token bạn dùng được.

## Trên BroadNet Inference

Trang gói của BroadNet nêu tốc độ thông thường khoảng 100 token mỗi giây cho DeepSeek V4.1 Flash. Một session trên các gói không giới hạn chạy một request tại một thời điểm, nên với tốc độ đó, một session sinh liên tục không nghỉ trong 30 ngày sẽ tạo ra khoảng 259 triệu token đầu ra. Agent thực tế dành thời gian đọc, chạy tool và chờ đợi, nên con số thực tế thấp hơn.

Để có thêm tổng thông lượng trên một gói, hãy thêm session: mỗi agent làm việc song song một session. Xem [session không giới hạn hoạt động thế nào](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/) và [chạy coding agent song song](https://broadrouter.com/vi/blog/run-parallel-coding-agents-flat-rate/).

## Lỗi thường gặp

-   So sánh nhà cung cấp chỉ bằng một request. Hãy đo TTFT và TPS qua nhiều request, với kích thước prompt của chính bạn.
-   Quên thời gian suy luận khi đặt timeout phía client.

## Câu hỏi thường gặp

### Bao nhiêu token mỗi giây là tốt?

Tùy mục đích. Một câu trả lời chat có cảm giác nhanh nhạy khi chữ hiện ra nhanh hơn tốc độ người đọc. Agent và tác vụ batch quan tâm hơn tới tổng thời gian mỗi tác vụ và số request chạy song song được.

### Số token mỗi giây có tính cả prompt không?

Thường là không. Tốc độ sinh đếm token đầu ra. Việc đọc prompt thể hiện ở thời gian tới token đầu tiên, và tăng theo độ dài prompt.

### Token suy luận có làm câu trả lời chậm hơn không?

Có. Chúng được sinh cùng tốc độ với đầu ra hiển thị, nên một model suy nghĩ 2.000 token sẽ làm câu trả lời trễ đúng bằng thời gian sinh số token đó.

## Xem thêm

-   [Token](https://broadrouter.com/vi/glossary/token/) (thuật ngữ)
-   [Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/) (thuật ngữ)
-   [Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/) (thuật ngữ)
-   [Token suy luận (reasoning tokens)](https://broadrouter.com/vi/glossary/reasoning-tokens/) (thuật ngữ)
-   [Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/) (thuật ngữ)
-   [Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/) (thuật ngữ)
-   [Thời gian tới token đầu tiên (TTFT)](https://broadrouter.com/vi/glossary/time-to-first-token/) (thuật ngữ)
-   [Speculative decoding (giải mã suy đoán)](https://broadrouter.com/vi/glossary/speculative-decoding/) (thuật ngữ)
-   [Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/) (hướng dẫn)
-   [Gói LLM API không giới hạn cho agent hoạt động thế nào?](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/) (hướng dẫn)
-   [API LLM giá cố định hay trả theo token: phép tính hòa vốn](https://broadrouter.com/vi/blog/flat-rate-vs-pay-per-token-llm-api/) (bài viết)
-   [Cách chạy coding agent song song trên API LLM giá cố định](https://broadrouter.com/vi/blog/run-parallel-coding-agents-flat-rate/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-tokens-per-second&utm_content=page-cta) ·

**Nguồn**

-   [NVIDIA NIM, các chỉ số benchmark inference LLM (TTFT, ITL, TPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Các gói BroadNet Inference (tốc độ thông thường) (tiếng Anh)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-tokens-per-second&utm_content=sources)
