BroadRouter
开始使用

KV 缓存(KV cache)

更新于

KV 缓存是 Transformer 语言模型存放已处理的每个 token 的注意力键(key)和值(value)的显存,让每个新 token 直接复用它们,而不必重新计算整个序列。它随上下文长度增长,常常决定一张 GPU 能同时服务多少请求。

又称: KV 缓存、KV Cache、键值缓存、注意力缓存、KV 显存、past_key_values、KV cache、key-value cache、attention cache、KV memory

模型每写一个 token,都要回看它之前的所有 token。KV 缓存让这种回看变得便宜。

原理

注意力机制把当前 token 的 query 与之前每个 token 的 key 和 value 做比较。没有缓存,模型每一步都要重新计算之前所有的 key 和 value。Hugging Face 的缓存指南这样概括其中的取舍:有了缓存,“attention cost per step is linear with sequence length”(译文:每一步的注意力开销随序列长度线性增长),而显存 “grows linearly”(译文:线性增长)。

所以推理分为两个阶段:

  1. 预填充(prefill)。 模型读入整个提示词并填满缓存。这是首 token 时间的主要部分。
  2. 解码(decode)。 每个新 token 在每一层加入一个 key 和一个 value,然后读取整个缓存。

每个 token 的缓存大小大约是 2 × layers × KV heads × head size × bytes per number。模型设计者对其中每一项都在想办法压缩。DeepSeek 为 DeepSeek V4.1 Flash 发布的卡片报告,其全局 KV 缓存为每 token 890 字节,采用 FP4 存储。在完整的 1,048,576 token 上下文下,就是 890 × 1,048,576 = 933,232,640 字节,单个请求约 890 MiB。

为什么重要

  • 并发与价格。 PagedAttention 论文说,同时服务大量请求之所以受限,是因为 KV 缓存的显存 “is huge and grows and shrinks dynamically”(译文:非常大,而且会动态地增长和收缩)。vLLM 像操作系统一样对这部分显存做分页管理,报告在相同延迟下吞吐量提高 2 到 4 倍。
  • 长上下文不是免费的。 服务商在生成期间必须为你的整个提示词保留缓存。这也是长上下文请求启动较慢的原因之一。
  • 提示词缓存建立在它之上。 请求结束后保留某个前缀的 KV 状态,就是服务商按缓存输入 token 计费的部分。前缀越稳定,命中缓存越频繁;参见为缓存设计提示词结构。
  • 量化同样适用。 用更少的位数存储键和值可以缩小缓存,但会带来一定的质量风险。

在 BroadNet Inference 上

BroadNet 没有公布它如何管理 KV 缓存显存。它的 API 参考记录的是可见的效果:usage.prompt_tokens_details.cached_tokens 报告从缓存读取的提示词 token 数,按缓存输入价格计费。例如在 DeepSeek V4.1 Flash 上是每百万 token $0.0055,而新输入是 $0.175。该模型和 GLM 5.3 每个请求最多接受 1,048,576 个 token。

常见错误

  • 把上下文长度只当成价格问题。缓存越大,预填充也越慢。
  • 每一轮都调整系统提示词的顺序。缓存的前缀对不上,服务商就得重新计算。

常见问题

KV 缓存和提示词缓存是一回事吗?

不完全是。KV 缓存存在于单个请求内部,在模型生成期间使用。提示词缓存在请求结束后保留这份状态,让之后前缀相同的请求可以复用,服务商把这些 token 按缓存输入计费。

为什么长提示词会占用这么多显存?

上下文中的每个 token 都要在每一层把它的键和值加进缓存。一个百万 token 的提示词,在回复结束前要一直把百万 token 的注意力状态留在显存里。

KV 缓存有多大?

对上下文中的每个 token,大约是 2 × 层数 × KV 头数 × 头维度 × 每个数的字节数。DeepSeek 的卡片报告 DeepSeek V4.1 Flash 为每 token 890 字节,在完整的 1,048,576 token 上下文下约为 890 MiB。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity