---
title: "Prefill và decode là gì? Hai giai đoạn của LLM inference"
description: "Prefill đọc toàn bộ prompt cùng lúc; sau đó decode viết câu trả lời từng token một. Hai giai đoạn khác nhau thế nào và vì sao chúng quyết định TTFT và tốc độ."
url: https://broadrouter.com/vi/glossary/prefill-and-decode/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/prefill-and-decode/) (cập nhật ngày 2026-11-16).

# Prefill và decode

Cập nhật 2026-11-16

Prefill và decode là hai giai đoạn của LLM inference. Ở prefill, model xử lý song song toàn bộ prompt và lấp đầy KV cache; ở decode, model sinh câu trả lời từng token một, dùng lại cache đó. Prefill chủ yếu quyết định time to first token; decode quyết định tốc độ đầu ra.

Còn gọi là: prefill, decode, giai đoạn prefill, giai đoạn decode, xử lý prompt, prefill phase, decode phase, prefill stage, prompt processing

Một request chat làm hai việc khác nhau: đọc prompt, rồi viết câu trả lời. Kỹ sư inference gọi chúng là prefill và decode, và hai giai đoạn này hoạt động rất khác nhau trên GPU.

## Cách hoạt động

1.  **Prefill.** Model đọc mọi token của prompt trong một lượt song song và lưu key và value attention của từng token vào [KV cache](https://broadrouter.com/vi/glossary/kv-cache/). Chưa có gì được trả về.
2.  **Decode.** Model sinh một token, thêm key và value của nó vào cache, và lặp lại cho tới khi dừng hoặc chạm `max_tokens`.

Bài báo Sarathi-Serve nói rõ sự tương phản: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (Bản dịch: các vòng prefill có độ trễ cao nhưng tận dụng hết năng lực tính toán của GPU nhờ xử lý song song prompt đầu vào), trong khi “decode iterations have low latency but also low compute utilization.” (Bản dịch: các vòng decode có độ trễ thấp nhưng mức sử dụng tính toán cũng thấp.)

Hai giai đoạn ứng với hai con số độ trễ mà người dùng cảm nhận. Bài báo DistServe gọi tên chúng: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (Bản dịch: thời gian tới token đầu tiên (TTFT) cho giai đoạn prefill và thời gian cho mỗi token đầu ra (TPOT) của từng request cho giai đoạn decoding.)

Một ví dụ cụ thể: request có prompt 20.000 token và câu trả lời 300 token phải prefill cả 20.000 token trước khi token stream đầu tiên xuất hiện, rồi chạy 300 bước decode tuần tự. Cắt prompt đi một nửa sẽ rút ngắn thời gian chờ token đầu tiên; nó không thay đổi tốc độ 300 token kia đến.

## Vì sao quan trọng

-   **[Time to first token](https://broadrouter.com/vi/glossary/time-to-first-token/) đi theo kích thước prompt.** System prompt dài, tài liệu và danh sách tool đều làm tăng việc prefill. Prefix đã cache bỏ qua được một phần, đó là lý do [token đầu vào từ cache](https://broadrouter.com/vi/glossary/cached-input-tokens/) có thể giúp prompt dài bắt đầu nhanh hơn.
-   **[Số token mỗi giây](https://broadrouter.com/vi/glossary/tokens-per-second/) là con số của decode.** Tốc độ đầu ra phụ thuộc vào mỗi bước decode chạy nhanh đến đâu, và [speculative decoding](https://broadrouter.com/vi/glossary/speculative-decoding/) là kỹ thuật nhằm tăng con số này.
-   **Hai giai đoạn cản trở nhau.** Khi máy chủ chạy cả hai trên cùng GPU, một lần prefill lớn có thể làm tạm dừng decode của người dùng khác. DistServe báo cáo “strong prefill-decoding interferences” (Bản dịch: nhiễu mạnh giữa prefill và decoding) và tách hai giai đoạn sang các GPU khác nhau. Sarathi-Serve thì “splits a prefill request into near equal sized chunks” (Bản dịch: chia một request prefill thành các phần gần bằng nhau) và lập lịch chúng “without pausing ongoing decodes” (Bản dịch: mà không tạm dừng các decode đang chạy).
-   **Engine cho bạn chỉnh sự đánh đổi.** Hướng dẫn tinh chỉnh của vLLM nói chunked prefill cho phép gộp các phần prefill với request decode trong cùng batch. `max_num_batched_tokens` nhỏ hơn cải thiện độ trễ giữa các token, còn giá trị lớn hơn có lợi cho TTFT và [throughput](https://broadrouter.com/vi/glossary/throughput/).

[Hướng dẫn về độ trễ, TTFT và throughput](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/) chỉ cách đo cả hai giai đoạn từ phía client.

## Trên BroadNet Inference

BroadNet không công bố cách máy chủ của họ lập lịch prefill và decode. Những gì bạn thấy được là kết quả: stream một phản hồi như trong [hướng dẫn streaming](https://broadrouter.com/vi/guides/streaming-chat-completions/), ghi lại thời gian tới chunk nội dung đầu tiên (chủ yếu là prefill cộng thời gian xếp hàng) và tốc độ các chunk sau đó (decode). Trên [GLM 5.3](https://broadrouter.com/vi/models/glm-5.3/), [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/) và [Qwen3.8 27B](https://broadrouter.com/vi/models/qwen3.8-27b/), token suy luận cũng được sinh ở giai đoạn decode, nên chúng làm chậm câu trả lời hiển thị và được tính vào `max_tokens`.

## Lỗi thường gặp

-   Đổ lỗi token đầu tiên chậm cho tốc độ đầu ra của model. Hãy kiểm tra độ dài prompt trước.
-   Benchmark bằng một prompt rất ngắn. Prompt thật có context dài sẽ có prefill dài hơn nhiều.

## Câu hỏi thường gặp

### Vì sao prompt dài khiến token đầu tiên ra chậm?

Mọi token của prompt phải qua prefill trước khi model viết được gì. Prompt càng dài thì việc prefill càng nhiều, nên time to first token tăng theo độ dài prompt, trừ khi một phần prompt được phục vụ từ cache.

### Câu trả lời dài hơn có làm token đầu tiên chậm hơn không?

Không. Token đầu tiên chờ prefill của prompt. Câu trả lời dài hơn chỉ thêm các bước decode sau khi token đầu tiên đã đến.

### Chunked prefill là gì?

Là cách lập lịch chia một prompt dài thành nhiều phần và xen kẽ chúng với các bước decode đang chạy, để một prompt lớn không làm đứng những người dùng khác. vLLM bật nó mặc định khi có thể.

## Xem thêm

-   [KV cache (bộ nhớ đệm key-value)](https://broadrouter.com/vi/glossary/kv-cache/) (thuật ngữ)
-   [Thời gian tới token đầu tiên (TTFT)](https://broadrouter.com/vi/glossary/time-to-first-token/) (thuật ngữ)
-   [Số token mỗi giây (tokens per second, TPS)](https://broadrouter.com/vi/glossary/tokens-per-second/) (thuật ngữ)
-   [Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/) (thuật ngữ)
-   [Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/) (thuật ngữ)
-   [vLLM](https://broadrouter.com/vi/glossary/vllm/) (thuật ngữ)
-   [Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/) (hướng dẫn)
-   [Độ trễ LLM: TTFT, token mỗi giây và thời gian end-to-end](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/) (bài viết)
-   [Tự host LLM hay dùng API: chi phí thực và điểm hòa vốn](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-prefill-and-decode&utm_content=page-cta) ·

**Nguồn**

-   [Zhong và cộng sự, DistServe: Disaggregating Prefill and Decoding for Goodput-optimized LLM Serving, arXiv 2401.09670 (kiểm tra ngày 2026-11-15)](https://arxiv.org/abs/2401.09670)
-   [Agrawal và cộng sự, Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve, arXiv 2403.02310 (kiểm tra ngày 2026-11-15)](https://arxiv.org/abs/2403.02310)
-   [Tài liệu vLLM, tối ưu và tinh chỉnh: chunked prefill (kiểm tra ngày 2026-11-15)](https://docs.vllm.ai/en/latest/configuration/optimization/)
