---
title: "什么是 KV Cache？大模型如何复用注意力计算 | BroadRouter"
description: "KV 缓存保存大模型已读过的 token 的注意力键和值，让每个新 token 的计算都很便宜。它的原理，以及为什么它会限制长上下文。"
url: https://broadrouter.com/zh/glossary/kv-cache/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/kv-cache/) (2026-11-14 更新).

# KV 缓存（KV cache）

更新于 2026-11-14

KV 缓存是 Transformer 语言模型存放已处理的每个 token 的注意力键（key）和值（value）的显存，让每个新 token 直接复用它们，而不必重新计算整个序列。它随上下文长度增长，常常决定一张 GPU 能同时服务多少请求。

又称： KV 缓存、KV Cache、键值缓存、注意力缓存、KV 显存、past\_key\_values、KV cache、key-value cache、attention cache、KV memory

模型每写一个 token，都要回看它之前的所有 token。KV 缓存让这种回看变得便宜。

## 原理

注意力机制把当前 token 的 query 与之前每个 token 的 key 和 value 做比较。没有缓存，模型每一步都要重新计算之前所有的 key 和 value。Hugging Face 的缓存指南这样概括其中的取舍：有了缓存，“attention cost per step is linear with sequence length”（译文：每一步的注意力开销随序列长度线性增长），而显存 “grows linearly”（译文：线性增长）。

所以推理分为两个阶段：

1.  **预填充（prefill）。** 模型读入整个提示词并填满缓存。这是[首 token 时间](https://broadrouter.com/zh/glossary/time-to-first-token/)的主要部分。
2.  **解码（decode）。** 每个新 token 在每一层加入一个 key 和一个 value，然后读取整个缓存。

每个 token 的缓存大小大约是 `2 × layers × KV heads × head size × bytes per number`。模型设计者对其中每一项都在想办法压缩。DeepSeek 为 DeepSeek V4.1 Flash 发布的卡片报告，其全局 KV 缓存为每 token 890 字节，采用 FP4 存储。在完整的 1,048,576 token 上下文下，就是 890 × 1,048,576 = 933,232,640 字节，单个请求约 890 MiB。

## 为什么重要

-   **并发与价格。** PagedAttention 论文说，同时服务大量请求之所以受限，是因为 KV 缓存的显存 “is huge and grows and shrinks dynamically”（译文：非常大，而且会动态地增长和收缩）。vLLM 像操作系统一样对这部分显存做分页管理，报告在相同延迟下[吞吐量](https://broadrouter.com/zh/glossary/throughput/)提高 2 到 4 倍。
-   **长上下文不是免费的。** 服务商在生成期间必须为你的整个提示词保留缓存。这也是长上下文请求启动较慢的原因之一。
-   **提示词缓存建立在它之上。** 请求结束后保留某个前缀的 KV 状态，就是服务商按[缓存输入 token](https://broadrouter.com/zh/glossary/cached-input-tokens/) 计费的部分。前缀越稳定，命中缓存越频繁；参见[为缓存设计提示词结构](https://broadrouter.com/zh/blog/prompt-structure-for-caching/)。
-   **[量化](https://broadrouter.com/zh/glossary/quantization/)同样适用。** 用更少的位数存储键和值可以缩小缓存，但会带来一定的质量风险。

## 在 BroadNet Inference 上

BroadNet 没有公布它如何管理 KV 缓存显存。它的 API 参考记录的是可见的效果：`usage.prompt_tokens_details.cached_tokens` 报告从缓存读取的提示词 token 数，按缓存输入价格计费。例如在 [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 上是每百万 token $0.0055，而新输入是 $0.175。该模型和 GLM 5.3 每个请求最多接受 1,048,576 个 token。

## 常见错误

-   把上下文长度只当成价格问题。缓存越大，预填充也越慢。
-   每一轮都调整系统提示词的顺序。缓存的前缀对不上，服务商就得重新计算。

## 常见问题

### KV 缓存和提示词缓存是一回事吗？

不完全是。KV 缓存存在于单个请求内部，在模型生成期间使用。提示词缓存在请求结束后保留这份状态，让之后前缀相同的请求可以复用，服务商把这些 token 按缓存输入计费。

### 为什么长提示词会占用这么多显存？

上下文中的每个 token 都要在每一层把它的键和值加进缓存。一个百万 token 的提示词，在回复结束前要一直把百万 token 的注意力状态留在显存里。

### KV 缓存有多大？

对上下文中的每个 token，大约是 2 × 层数 × KV 头数 × 头维度 × 每个数的字节数。DeepSeek 的卡片报告 DeepSeek V4.1 Flash 为每 token 890 字节，在完整的 1,048,576 token 上下文下约为 890 MiB。

## 另请参阅

-   [缓存输入 token（cached input tokens）](https://broadrouter.com/zh/glossary/cached-input-tokens/) (术语)
-   [上下文窗口（context window）](https://broadrouter.com/zh/glossary/context-window/) (术语)
-   [首 token 延迟（TTFT，time to first token）](https://broadrouter.com/zh/glossary/time-to-first-token/) (术语)
-   [吞吐量（throughput）](https://broadrouter.com/zh/glossary/throughput/) (术语)
-   [量化（quantization）](https://broadrouter.com/zh/glossary/quantization/) (术语)
-   [投机解码（speculative decoding）](https://broadrouter.com/zh/glossary/speculative-decoding/) (术语)
-   [Prefill 与 Decode（预填充与解码）](https://broadrouter.com/zh/glossary/prefill-and-decode/) (术语)
-   [vLLM](https://broadrouter.com/zh/glossary/vllm/) (术语)
-   [对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/) (指南)
-   [百万 token 上下文窗口什么时候值得用（什么时候不值得）](https://broadrouter.com/zh/blog/million-token-context-window-guide/) (文章)
-   [如何组织提示词，让前缀被缓存](https://broadrouter.com/zh/blog/prompt-structure-for-caching/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-kv-cache&utm_content=page-cta) ·

**来源**

-   [Kwon 等：Efficient Memory Management for LLM Serving with PagedAttention（vLLM），arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Hugging Face Transformers：缓存机制详解](https://huggingface.co/docs/transformers/en/cache_explanation)
-   [DeepSeek：DeepSeek-V4.1-Flash 模型卡片（每 token 的 KV 缓存字节数）](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
