---
title: "什么是缓存输入 token？提示词缓存与缓存命中详解 | BroadRouter"
description: "缓存输入 token 是服务商从近期请求中复用、并以更低单价计费的提示词 token。前缀缓存如何工作，以及如何测量和提高缓存命中率。"
url: https://broadrouter.com/zh/glossary/cached-input-tokens/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/cached-input-tokens/)（2026-11-14 更新）。

# 缓存输入 token（cached input tokens）

更新于 2026-11-14

缓存输入 token 是大模型服务商近期已处理过、可以直接从缓存中复用而无需重新计算的提示词 token，通常是重复的前缀，例如系统提示词或文档。服务商对它们按低于新输入 token 的单价计费。

又称： 缓存命中、缓存命中 token、提示词缓存、提示缓存、上下文缓存、缓存 token、prompt caching、cache hits、cached tokens、context caching、cache read tokens、cached input tokens

智能体每一轮发送的内容大部分都是一样的。提示词缓存让服务商跳过对重复部分的重新计算，并以更低的价格计费。

## 工作原理

模型读取提示词时，会为每个 token 计算内部状态。服务商可以把这些状态保存一小段时间。如果下一个请求以相同的 token 开头，服务商就直接读取已保存的状态，而不再重新计算。这些 token 就是**缓存输入 token**。

缓存从提示词的开头开始匹配。OpenAI 的指南说，复用 “requires the entire rendered prefix to match.”（译文：要求整个渲染后的前缀完全一致。）提示词前部只要改动一个字符，之后的所有内容都会变成新输入。

各家服务商在细节上有所不同：

-   **OpenAI** 在支持的模型上默认开启缓存，并在 usage 块中报告命中情况。它的文档说明，较新的模型要求前缀至少 1,024 个 token。
-   **Anthropic** 对大多数模型的缓存读取按基础输入价的 0.1 倍计费，缓存写入则要加价，缓存条目默认保留 5 分钟。

在 Chat Completions 格式中，命中数量显示为 `usage.prompt_tokens_details.cached_tokens`。缓存命中率就是这个数除以 `prompt_tokens`。

## 为什么重要

对于又长又重复的提示词，缓存命中率决定了账单。一个每轮都重发 200,000 token 代码仓库的智能体，只要前缀保持稳定，就只需第一次付全额输入价，之后都按缓存价计费。缓存还能缩短长提示词的首个 token 延迟，因为开始生成前要做的计算更少。

要提高命中率，就把稳定的内容放在前面（系统提示词、工具定义、文档），把变化的内容放在最后。不要把时间戳和请求 ID 放在提示词顶部，工具列表也要保持固定顺序。在各服务商公布的价格中有多大比例包含缓存输入价、典型折扣是多少，见 [LLM API 价格指数](https://broadrouter.com/data/llm-api-price-index/)。

## 在 BroadNet Inference 上

BroadNet 为三个对话模型公布了缓存输入价，按每百万 token 计：

| 模型 | 新输入 | 缓存输入 |
| --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) | $0.175 | $0.0055 |
| [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) | $0.78 | $0.173 |
| [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) | $0.175 | $0.0435 |

缓存的 token 会自动按较低的价格计费，在模型报告时，`prompt_tokens_details.cached_tokens` 会显示它们。在流式输出中，按[流式输出指南](https://broadrouter.com/zh/guides/streaming-chat-completions/)所示，用 `stream_options` 请求用量信息。

在[固定价格套餐](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)上没有 token 计量，所以缓存命中率不影响账单。完整讲解及记录命中率的代码，见[缓存输入 token 详解](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)。

## 常见问题

### 缓存的 token 还占用上下文窗口吗？

占用。缓存改变的是这些 token 的价格，而不是它们是否计入窗口。Anthropic 的文档对此有明确说明。

### 缓存能保留多久？

取决于服务商。Anthropic 默认有效期为 5 分钟，每次使用缓存都会刷新，也可选择 1 小时有效期。其他服务商不一定公布固定时长，所以请实测你的命中率。

### 缓存会改变回答吗？

不会。缓存保存的是对提示词所做的计算，而不是回复。模型仍会重新生成回答。

## 另请参阅

-   [输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/)（术语）
-   [Token（词元）](https://broadrouter.com/zh/glossary/token/)（术语）
-   [上下文窗口（context window）](https://broadrouter.com/zh/glossary/context-window/)（术语）
-   [按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)（术语）
-   [KV 缓存（KV cache）](https://broadrouter.com/zh/glossary/kv-cache/)（术语）
-   [系统提示词（system prompt）](https://broadrouter.com/zh/glossary/system-prompt/)（术语）
-   [对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/)（指南）
-   [缓存输入 token 详解：如何降低大模型 API 账单](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)（文章）
-   [百万 token 上下文窗口什么时候值得用（什么时候不值得）](https://broadrouter.com/zh/blog/million-token-context-window-guide/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-cached-input-tokens&utm_content=page-cta) ·

**来源**

-   [OpenAI：提示词缓存指南](https://developers.openai.com/api/docs/guides/prompt-caching)
-   [Anthropic：提示词缓存（价格倍率与缓存有效期）](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)
-   [BroadNet Inference API 参考：思考与缓存 token（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-cached-input-tokens&utm_content=sources)
-   [BroadNet Inference 机器可读价格文件（pricing.json）（英文）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-cached-input-tokens&utm_content=sources)
