---
title: "缓存输入 token 详解：用提示词缓存降低 API 费用 | BroadRouter"
description: "缓存输入的价格只是普通输入的一小部分。本文讲清提示词缓存怎么计费、如何读取 usage 中的 cached_tokens，以及如何组织提示词来命中缓存。"
url: https://broadrouter.com/zh/blog/cached-input-tokens-explained/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/cached-input-tokens-explained/)（2026-11-15 更新）。

# 缓存输入 token 详解：如何降低大模型 API 账单

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 2026-11-14 · 更新于 2026-11-15

缓存输入 token 是服务商已经处理过、可以复用的提示词 token，因此按更低的单价计费。在 BroadNet Inference 上，DeepSeek V4.1 Flash 的缓存输入每百万 token $0.0055，新输入则是 $0.175。把每个提示词中稳定的部分放在最前面，并在每次调用之间保持一致，就能享受这个折扣。

## 要点

-   DeepSeek V4.1 Flash 缓存输入：每百万 token $0.0055；新输入：$0.175。
-   模型提供缓存数据时，usage 块会报告 `prompt_tokens_details.cached_tokens`，你可以据此度量缓存命中率。
-   稳定内容放在前面（系统提示词、工具、文档），变化的内容放在最后。
-   缓存从提示词开头开始匹配。前面改动一个 token，后面的所有内容都会变成新输入。
-   每一轮都重新发送同一份代码仓库上下文的智能体受益最大。

**本页内容**

1.  什么是缓存输入 token？
2.  在 BroadNet Inference 上，缓存 token 多少钱？
3.  缓存能省多少？一个实例
4.  怎么在 API 响应中看到缓存 token？
5.  OpenAI、Anthropic 和 DeepSeek 的提示词缓存有什么不同？
6.  什么会拉低缓存命中率？
7.  什么时候缓存就不重要了？
8.  为什么长上下文更需要缓存？
9.  BroadNet Inference 适合什么场景

智能体发给大模型的内容，大部分每一轮都一样：系统提示词、工具定义、正在处理的文件，以及之前的对话。只有最后一条消息是新的。提示词缓存的意思是，服务商不会对这部分重复内容收全价。

## 什么是缓存输入 token？

每个请求都由[输入 token 和输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/) 构成。模型回答之前，要先处理整个提示词。如果之前某个请求的开头和它的 token 完全相同，推理服务系统就可以复用那次计算，而不必重算。被复用的部分会作为[缓存输入 token](https://broadrouter.com/zh/glossary/cached-input-tokens/) 报告，并按更低的单价计费。

从这个原理可以推出两点：

-   \*\*只有前缀会被缓存。\*\*匹配从第一个 token 开始往后走，遇到第一个不同之处就停止。
-   \*\*回答永远不会被缓存。\*\*模型仍然要生成新的输出，按全额输出价计费。

## 在 BroadNet Inference 上，缓存 token 多少钱？

按每百万 token 计，来自公开的价格文件：

| 模型 | 新输入 | 缓存输入 | 输出 |
| --- | --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) | $0.175 | $0.0055 | $0.52 |
| [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) | $0.78 | $0.173 | $3.46 |
| [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) | $0.175 | $0.0435 | $2.17 |

DeepSeek V4.1 Flash 的差距很大：对比一下：缓存 token 每百万 $0.0055，新 token 每百万 $0.175。对于每一轮都重新发送 200,000 token 代码仓库的智能体来说，缓存命中率决定了账单的大部分。

## 缓存能省多少？一个实例

一个编程智能体在一个工作日里发送 100 次 200,000 token 的提示词，也就是每天 2,000 万输入 token。

| 缓存命中率 | 新输入 token | 缓存输入 token |
| --- | --- | --- |
| 0% | 20M，每百万 $0.175 | 0 |
| 50% | 10M，每百万 $0.175 | 10M，每百万 $0.0055 |
| 90% | 2M，每百万 $0.175 | 18M，每百万 $0.0055 |

每日输入费用的公式是 `new tokens (M) × input price + cached tokens (M) × cached price`。命中率为 90% 时，20M 输入 token 中有 18M 按缓存价而不是完整的输入价计费，所以两种价格差距越大，输入部分的账单省得越多。输出部分不变。可以在[提示词缓存计算器](https://broadrouter.com/tools/prompt-caching-calculator/)中试试你自己的数字。

## 怎么在 API 响应中看到缓存 token？

BroadNet 的 API 参考说明，模型报告缓存数据时，`usage` 对象会带有 `prompt_tokens_details.cached_tokens`：即从缓存读取、按缓存价计费的提示词 token。使用[流式输出](https://broadrouter.com/zh/glossary/streaming/)时，在最后一个数据块中请求 usage：

```python
from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
```

把每个请求的命中率记录一天。它会告诉你实际付了多少钱，也正是该填进[提示词缓存计算器](https://broadrouter.com/tools/prompt-caching-calculator/)的数字。关于流式输出中的 usage，详见[流式输出指南](https://broadrouter.com/zh/guides/streaming-chat-completions/)。

## OpenAI、Anthropic 和 DeepSeek 的提示词缓存有什么不同？

缓存没有统一标准。以下是我们在 2026 年 11 月 14 日获取官方文档时的说法：

|  | OpenAI | Anthropic | DeepSeek（官方 API） |
| --- | --- | --- | --- |
| 是否开启 | 支持的模型默认开启 | 需用 `cache_control` 字段手动启用（自动或按块） | 对所有用户默认开启 |
| 最短提示词 | GPT-5.6 及之后为 1,024 token | 512 到 4,096 token，视模型而定 | 未说明最低要求 |
| 缓存有效期 | GPT-5.6 及之后默认 30 分钟；可选 12 小时 | 默认 5 分钟，1 小时需额外付费 | 尽力而为；不用时清除，“a few hours to a few days”（译文：几小时到几天） |
| 写入 | GPT-5.6 及之后为输入价的 1.25×（30 分钟）或 2.5×（12 小时） | 5 分钟为输入价的 1.25×，1 小时为 2× | 未提及写入费用 |
| 读取 | GPT-5.6 及之后为输入价的 0.1×（GPT-6.1 Sol 和 Terra 为 0.05×） | 多数模型为输入价的 0.1×，部分更低 | 单独的“缓存命中”价格 |
| usage 字段 | token details 中的 `cached_tokens` | `cache_read_input_tokens` | `prompt_cache_hit_tokens` |

来源：[OpenAI 提示词缓存指南](https://developers.openai.com/api/docs/guides/prompt-caching)、[Anthropic 提示词缓存文档](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)和 [DeepSeek 上下文缓存文档](https://api-docs.deepseek.com/guides/kv_cache)。在写入要额外收费的地方，一个写入后从未被读取的缓存，比不用缓存还贵。缓存只在你真正重复使用的提示词上才划算。要按模型比较标价，请看[大模型 API 价格表](https://broadrouter.com/zh/llm-api-pricing/)。

## 什么会拉低缓存命中率？

缓存匹配的是精确前缀，所以提示词靠前的任何变化都会让后面的内容变成新输入。常见原因有：

-   系统提示词开头附近有时间戳、请求 ID 或用户名；
-   工具定义或 JSON 每次序列化时键的顺序不同，导致 [token](https://broadrouter.com/zh/glossary/token/) 变化；
-   智能体改写或总结历史，而不是直接追加；
-   停顿过久，缓存已经过期。

解决办法是固定层次顺序（系统提示词、工具、文档、历史、新消息），并让每一层在每次调用之间逐字节一致。我们的[如何组织提示词，让前缀被缓存](https://broadrouter.com/zh/blog/prompt-structure-for-caching/)用代码演示了这种布局，并附有一个测试来证明前缀确实被复用。

## 什么时候缓存就不重要了？

在固定价格套餐上，账单与 token 完全无关。Full Moon 每个会话每月 $60，DeepSeek V4.1 Flash 不限量。如果你的智能体已经超过了[盈亏平衡点](https://broadrouter.com/zh/blog/flat-rate-vs-pay-per-token-llm-api/)，缓存命中率就不再是成本问题。不过在长提示词上，上述习惯仍然有助于提速，所以无论如何都值得保留。

## 为什么长上下文更需要缓存？

DeepSeek V4.1 Flash 和 GLM 5.3 每个请求最多接受 1,048,576 个 token。在按 token 计费的密钥上，正是缓存让超长提示词变得负担得起，因为[上下文窗口](https://broadrouter.com/zh/glossary/context-window/)中大量重复的部分按缓存价计费。参见[什么时候值得用 100 万 token 上下文窗口](https://broadrouter.com/zh/blog/million-token-context-window-guide/)。

## BroadNet Inference 适合什么场景

BroadNet 为每个有缓存价格的对话模型公布缓存输入价，并在模型报告时于 usage 中给出缓存 token 数，因此你可以在投入之前先度量自己的命中率。它没有公布缓存有效期或最短提示词长度，请用你自己的流量去测量。如果你的智能体全天运行，固定价格套餐能让这个问题彻底消失。

相关免费工具（英文）

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[缓存输入 token（cached input tokens）](https://broadrouter.com/zh/glossary/cached-input-tokens/)

缓存输入 token 是大模型服务商近期已处理过、可以直接从缓存中复用而无需重新计算的提示词 token，通常是重复的前缀，例如系统提示词或文档。服务商对它们按低于新输入 token 的单价计费。

[输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/)

输入 token 是语言模型在一次请求中读取的 token，包括系统提示词、对话历史、工具定义和图片。输出 token 是模型生成回复的 token，包括思考内容。大模型 API 通常分别计价，输出一般更贵。

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

[系统提示词（system prompt）](https://broadrouter.com/zh/glossary/system-prompt/)

系统提示词是应用在对话开始前发给语言模型的指令文本，通常是一条 system 或 developer 角色的消息。它设定模型的角色、规则、语气和输出格式，当用户消息与它冲突时，模型应当优先遵循它。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[流式输出（streaming）](https://broadrouter.com/zh/glossary/streaming/)

流式输出是一种在语言模型仍在生成时，就把回复分成小块陆续返回的方式，而不是在最后一次性返回。当请求把 stream 设为 true 时，OpenAI 兼容 API 会通过服务器发送事件（SSE）进行流式输出。

## 常见问题

### 提示词缓存需要手动开启吗？

取决于服务商。OpenAI 和 DeepSeek 自动缓存；Anthropic 需要 cache\_control 字段。在 BroadNet Inference 上请查看 usage 块：模型报告缓存 token 时，它们会出现在 prompt\_tokens\_details.cached\_tokens 中，并按缓存输入价计费。

### 怎么检查提示词缓存有没有生效？

每个请求都获取 usage，用 cached\_tokens 除以 prompt\_tokens。如果一个长且重复的提示词在第二次调用时命中率仍接近零，说明提示词靠前的某处在每次调用之间发生了变化。

### 为什么我的缓存命中率很低？

通常是因为提示词靠前的某个内容每次调用都在变，比如时间戳、请求 ID 或顺序被打乱的工具列表。把变化的内容挪到最后。

### 提示词缓存和响应缓存有什么区别？

提示词缓存复用服务商对重复前缀已做的计算，模型仍会生成新的回答。响应缓存需要你自己实现：存下完整答案，遇到相同问题时直接返回，不再调用模型。

### 缓存 token 是免费的吗？

不是。它们按更低的单价计费，而不是零。DeepSeek V4.1 Flash 的缓存输入每百万 token $0.0055，输出则全价计费。

### 不限量套餐还需要在意缓存吗？

对账单没有影响，因为套餐会话没有 token 计量。但在许多推理服务系统中，缓存仍能缩短长提示词的首 token 时间，所以同样的习惯依然有用。

## 继续阅读

-   [如何组织提示词，让前缀被缓存](https://broadrouter.com/zh/blog/prompt-structure-for-caching/)
-   [大模型 API 怎么计费：输入、缓存、输出与思考 token 详解](https://broadrouter.com/zh/blog/llm-api-pricing-explained/)
-   [大模型 API 包月还是按 token 付费：盈亏平衡怎么算](https://broadrouter.com/zh/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [百万 token 上下文窗口什么时候值得用（什么时候不值得）](https://broadrouter.com/zh/blog/million-token-context-window-guide/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [2026 年 10 月大模型 API 价格变动：3 次涨价，没有降价](https://broadrouter.com/zh/blog/llm-api-price-changes-october-2026/)
-   [大模型 API 价格多久变一次？三年存档价格页数据](https://broadrouter.com/zh/blog/how-often-llm-api-prices-change/)
-   [指南：对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-cached-input-tokens-explained&utm_content=page-cta) ·

**来源**

-   [BroadNet Inference API 参考：思考与缓存 token（2026-11-14 获取）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-cached-input-tokens-explained&utm_content=sources)
-   [BroadNet Inference 机器可读价格文件（pricing.json，2026-11-14 获取）（英文）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-cached-input-tokens-explained&utm_content=sources)
-   [OpenAI 提示词缓存指南（2026-11-14 获取）](https://developers.openai.com/api/docs/guides/prompt-caching)
-   [Anthropic 提示词缓存文档（2026-11-14 获取）](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)
-   [DeepSeek API 文档：上下文硬盘缓存（2026-11-14 获取）](https://api-docs.deepseek.com/guides/kv_cache)
