---
title: "什么是 Prefill 和 Decode？大模型推理的两个阶段 | BroadRouter"
description: "Prefill 一次性读完整个提示词，Decode 再逐个 token 写出回答。两个阶段有何不同，以及为什么它们决定了首 token 延迟和输出速度。"
url: https://broadrouter.com/zh/glossary/prefill-and-decode/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/prefill-and-decode/)（2026-11-16 更新）。

# Prefill 与 Decode（预填充与解码）

更新于 2026-11-16

Prefill（预填充）和 Decode（解码）是大模型推理的两个阶段。Prefill 阶段模型并行处理整个提示词并填充 KV 缓存；Decode 阶段模型复用该缓存，逐个 token 生成回复。Prefill 主要决定首 token 延迟，Decode 决定输出速度。

又称： 预填充、解码、预填充阶段、解码阶段、Prefill 阶段、Decode 阶段、PD 分离、提示词处理、prefill、prefill phase、decode phase、prefill stage、prompt processing

一次对话请求要做两件不同的事：读提示词，再写回答。推理工程师称之为 Prefill 和 Decode，二者在 GPU 上的表现截然不同。

## 工作原理

1.  **Prefill。** 模型在一次并行计算中读完所有提示词 token，并把每个 token 的注意力键和值存进 [KV 缓存](https://broadrouter.com/zh/glossary/kv-cache/)。此时还没有任何返回。
2.  **Decode。** 模型生成一个 token，把它的键和值追加到缓存中，如此重复，直到停止或达到 `max_tokens`。

Sarathi-Serve 论文把对比说得很直白：“Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt”（译文：Prefill 迭代延迟高，但由于并行处理输入提示词，能把 GPU 算力用满），而 “decode iterations have low latency but also low compute utilization.”（译文：Decode 迭代延迟低，但算力利用率也低。）

这两个阶段正好对应用户能感受到的两个延迟指标。DistServe 论文给它们命了名：“time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.”（译文：Prefill 阶段的首 token 时间（TTFT），以及解码阶段每个请求的每输出 token 时间（TPOT）。）

举个例子：一个提示词为 20,000 token、回答为 300 token 的请求，要先完成全部 20,000 token 的 Prefill，第一个流式 token 才会出现，之后是 300 个依次进行的 Decode 步骤。把提示词砍掉一半，能缩短等待首个 token 的时间；但不会改变那 300 个 token 到达的速度。

## 为什么重要

-   **[首 token 延迟](https://broadrouter.com/zh/glossary/time-to-first-token/)跟随提示词长度。** 长系统提示词、文档和工具列表都会增加 Prefill 工作量。命中缓存的前缀可以跳过其中一部分，这就是为什么[缓存输入 token](https://broadrouter.com/zh/glossary/cached-input-tokens/) 能让长提示词更快开始输出。
-   **[每秒 token 数](https://broadrouter.com/zh/glossary/tokens-per-second/)是 Decode 指标。** 输出速度取决于每个 Decode 步骤跑得多快，[投机解码](https://broadrouter.com/zh/glossary/speculative-decoding/)就是为了提高这一点。
-   **两个阶段会相互干扰。** 服务器在同一块 GPU 上同时运行两者时，一个大的 Prefill 可能会让其他用户的 Decode 暂停。DistServe 报告了 “strong prefill-decoding interferences”（译文：严重的 Prefill 与 Decode 相互干扰），并把两个阶段放到不同的 GPU 上。Sarathi-Serve 则 “splits a prefill request into near equal sized chunks”（译文：把 Prefill 请求切分成大小接近的块），并在 “without pausing ongoing decodes”（译文：不暂停正在进行的 Decode）的情况下调度它们。
-   **推理引擎把这种取舍交给你。** vLLM 的调优指南说，分块预填充让它可以把 Prefill 块和 Decode 请求合批。`max_num_batched_tokens` 设得小，token 间延迟更好；设得大，则有利于首 token 延迟和[吞吐量](https://broadrouter.com/zh/glossary/throughput/)。

[延迟、TTFT 与吞吐量指南](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)演示了如何在客户端测量这两个阶段。

## 在 BroadNet Inference 上

BroadNet 没有公开其服务器如何调度 Prefill 和 Decode。你能看到的是效果：按[流式输出指南](https://broadrouter.com/zh/guides/streaming-chat-completions/)流式获取响应，记录到第一个内容块的时间（主要是 Prefill 加排队）以及之后内容块的速率（Decode）。在 [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/)、[DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 和 [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) 上，思考 token 也在 Decode 阶段生成，所以它们会推迟可见回答的出现，并计入 `max_tokens`。

## 常见错误

-   把首个 token 慢归咎于模型的输出速度。先检查提示词长度。
-   用很短的提示词做基准测试。带长上下文的真实提示词，Prefill 要长得多。

## 常见问题

### 为什么提示词越长，首个 token 越慢？

每个提示词 token 都要先经过 Prefill，模型才能写出任何内容。提示词越长，Prefill 工作量越大，所以首 token 延迟会随提示词长度增长，除非部分提示词命中缓存。

### 回答越长，首个 token 会越慢吗？

不会。首个 token 等待的是提示词的 Prefill。更长的回答只会在首个 token 到达之后增加更多的 Decode 步骤。

### 什么是分块预填充（chunked prefill）？

一种调度方法：把长提示词切成若干块，与正在进行的 Decode 步骤混合执行，这样一个大提示词就不会卡住其他用户。vLLM 在条件允许时默认启用它。

## 另请参阅

-   [KV 缓存（KV cache）](https://broadrouter.com/zh/glossary/kv-cache/)（术语）
-   [首 token 延迟（TTFT，time to first token）](https://broadrouter.com/zh/glossary/time-to-first-token/)（术语）
-   [每秒 token 数（TPS，tokens per second）](https://broadrouter.com/zh/glossary/tokens-per-second/)（术语）
-   [吞吐量（throughput）](https://broadrouter.com/zh/glossary/throughput/)（术语）
-   [延迟（latency）](https://broadrouter.com/zh/glossary/latency/)（术语）
-   [vLLM](https://broadrouter.com/zh/glossary/vllm/)（术语）
-   [对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/)（指南）
-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)（文章）
-   [自建部署大模型还是用 API：真实成本与盈亏平衡点](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-prefill-and-decode&utm_content=page-cta) ·

**来源**

-   [Zhong 等，DistServe: Disaggregating Prefill and Decoding for Goodput-optimized LLM Serving，arXiv 2401.09670（2026-11-15 查阅）](https://arxiv.org/abs/2401.09670)
-   [Agrawal 等，Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve，arXiv 2403.02310（2026-11-15 查阅）](https://arxiv.org/abs/2403.02310)
-   [vLLM 文档，优化与调优：分块预填充（chunked prefill）（2026-11-15 查阅）](https://docs.vllm.ai/en/latest/configuration/optimization/)
