---
title: "AI 智能体 token 消耗在哪里，以及如何削减 | BroadRouter"
description: "系统提示词、工具 schema、文件读取、历史记录和思考：智能体循环如何消耗 token，如何用用量数据测量每一部分，以及先裁剪什么。"
url: https://broadrouter.com/zh/blog/agent-token-budget/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/agent-token-budget/)（2026-11-14 更新）。

# 智能体 token 预算：智能体循环的 token 都花在哪里

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 2026-11-14

智能体循环每次调用都会重发全部上下文：系统提示词、工具定义、对话历史、文件内容和工具输出，再加上新的一步。输入通常是输出的许多倍。按调用记录 prompt\_tokens、cached\_tokens 和 completion\_tokens，找出最大的重复块，然后精简工具、限制工具输出，并重开过长的会话。

## 要点

-   每次模型调用都会重发完整上下文。一个 40 步的任务，每次调用 30,000 token，总共读取 120 万输入 token。
-   五个组成部分：系统提示词、工具 schema、历史记录、文件读取与工具输出，以及包含思考在内的输出。
-   从 usage 块按调用测量：prompt\_tokens、prompt\_tokens\_details.cached\_tokens 和 completion\_tokens。
-   Cursor 报告称，系统提示词和工具定义已成为其完全可控的最大开销来源之一。
-   按这个顺序裁剪：未使用的工具、过大的工具输出、过时的历史记录，最后是系统提示词。保持稳定前缀完全一致，让它持续命中缓存。

**本页内容**

1.  为什么智能体要把所有内容都重发一遍？
2.  token 都花在哪里？
3.  怎样测量？
4.  应该先裁剪什么？
5.  为什么要保持前缀稳定？
6.  一份智能体预算的计算示例是什么样的？
7.  BroadNet Inference 适合什么场景

一次聊天的成本，是你输入的内容加上模型写出的内容。智能体则贵得多，因为它会调用模型几十次，而且每次几乎都把所有内容重发一遍。如果你想降低这部分成本，或者只是不想再撞上[上下文窗口](https://broadrouter.com/zh/glossary/context-window/)的上限，就需要知道每个请求中哪一部分最大。本文把智能体循环拆成五个部分，介绍如何用 API 自身的用量数据测量每一部分，并列出应该先裁剪什么。

## 为什么智能体要把所有内容都重发一遍？

Chat Completions API 是无状态的。模型在两次调用之间什么都不记得，所以智能体每一步都要发送完整的上下文。一个 40 步的任务，如果每次调用携带 30,000 token，总共要读取 **120 万输入 token**，产出的输出可能只有 40,000 token。正是这个 30 比 1 的比例，让[输入 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/) 及其缓存价格主导了智能体的账单。

## token 都花在哪里？

| 部分 | 是什么 | 每次调用都重复？ | 常见诱因 |
| --- | --- | --- | --- |
| 系统提示词 | 智能体指令、规则文件、项目说明 | 是 | 冗长的规则文件 |
| 工具 schema | 每个工具的名称、描述和 JSON Schema | 是 | 内置工具，加上每一个 MCP 服务器 |
| 历史记录 | 之前的消息、工具调用和结果 | 是，而且不断增长 | 长会话 |
| 文件读取与工具输出 | 文件内容、测试日志、搜索结果 | 是，直到被移除 | 读取整个文件、输出冗长的命令 |
| 输出 | 可见回答、工具调用和思考 | 否 | 思考强度、重写整个文件 |

前两项是固定开销。Cursor 在 2026 年 9 月写道，系统提示词和工具定义“had become one of the largest sources of spend that we fully control”（译文：已成为我们完全可控的最大开销来源之一），并把文件读取称为“another large source of token spend”（译文：另一个 token 开销大户）。它所做的改动，包括把系统提示词删减约三分之二，以及对在不到 20% 的对话中用到的工具改为按需加载，使用户的 token 成本降低了 7%。GitHub 的 VS Code 团队也为 Copilot 指出了同样的两项成本：重复的提示词前缀和工具定义开销。

## 怎样测量？

你不需要专门的追踪产品。每个响应里的 usage 块就足够了。

1.  **开启用量统计。** 使用流式输出时，加上 `stream_options: {"include_usage": true}`；用量会在最后一个分块中返回。参见[流式输出](https://broadrouter.com/zh/guides/streaming-chat-completions/)。
2.  **按调用记录：** 步骤编号、`prompt_tokens`、`prompt_tokens_details.cached_tokens`、`completion_tokens`，以及在有报告时的 `completion_tokens_details.reasoning_tokens`。
3.  **测量一次固定开销。** 发送一个只包含系统提示词、工具和单词“hi”的请求。它的 `prompt_tokens` 就是你的下限。
4.  **测量工具输出。** 在追加每个工具结果之前，统计它的字符数。除以四可以粗略得到英文的 token 数；把样本粘贴到免费的 [token 计数器](https://broadrouter.com/tools/token-counter/)，就能得到你所用模型分词器下的准确数字。

```python
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)
```

按步骤绘制 `prompt_tokens` 曲线。斜率稳定说明历史记录在增长。突然跳升说明有大文件或大日志进入了上下文。下限很高说明工具太多。

在 Aider 中，`/tokens` 会报告当前上下文里有什么，`/drop` 可以把文件从上下文中移除。

## 应该先裁剪什么？

按“大小 × 重复次数”排序，而不是按哪个最容易：

1.  **未使用的工具。** 每个工具 schema 都会跟着每次调用发送。OpenAI 的指南说函数定义“are billed as input tokens”（译文：按输入 token 计费），并作为一条软性规则，建议在一轮开始时少于 20 个函数。在当前任务中停用你用不到的 MCP 服务器；opencode 的文档明确指出 MCP 工具会占用模型上下文。
2.  **工具输出。** 限制命令输出（测试日志只取最后 200 行，而不是 20,000 行）。搜索结果只返回路径和行号，再只读取需要的部分。
3.  **文件读取。** 读函数，而不是整个文件。Aider 的仓库地图默认使用 1k token 预算（`--map-tokens`），而不是整个文件。
4.  **历史记录。** 每次改动开一个新任务。必须继续某个会话时，把旧的轮次替换成一段简短摘要。
5.  **系统提示词。** 删掉模型本来就会遵守的规则。其余部分保持稳定。
6.  **输出。** 要求输出 diff，而不是整个文件。常规步骤把 `reasoning_effort` 设为 `low`。[思考 token](https://broadrouter.com/zh/glossary/reasoning-tokens/) 按输出计费。

## 为什么要保持前缀稳定？

服务商会缓存重复的前缀，并按更低的价格计费。在 BroadNet Inference 上，[DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 的[缓存输入](https://broadrouter.com/zh/glossary/cached-input-tokens/)每 1M token 为 $0.0055，新输入为 $0.175。[GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) 为 $0.173 对 $0.78。系统提示词里的时间戳，或者每次调用工具顺序都不同，都会让缓存从那一处开始失效。把稳定的部分放在前面并固定顺序，把变化的部分放在最后。更多内容见[缓存输入 token 详解](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)；[提示词缓存计算器](https://broadrouter.com/tools/prompt-caching-calculator/)可以算出某个命中率能省多少。

缓存降低的是前缀的价格，而不是它的大小。缓存 token 仍然占用上下文窗口，处理它们仍然需要时间。

## 一份智能体预算的计算示例是什么样的？

以上面那个 40 步的任务为例，其中 80% 的输入命中缓存：

| 部分 | token | 计费方式 |
| --- | --- | --- |
| 新输入 | 240,000 | 输入价格 |
| 缓存输入 | 960,000 | 缓存输入价格 |
| 输出（含思考） | 40,000 | 输出价格 |

每次调用删掉 5,000 token 未使用的工具 schema，这个任务就少了 200,000 个输入 token，约占总量的六分之一，而智能体的行为完全不变。裁剪之外的降本手段，比如模型选择、缓存和固定价格套餐，参见[降低编程智能体大模型成本的 10 个方法](https://broadrouter.com/zh/blog/cut-coding-agent-llm-costs/)。对于多智能体方案，再乘以智能体的数量；参见[多智能体方案的成本](https://broadrouter.com/zh/blog/multi-agent-cost/)。想逐步模拟你自己的循环，请使用[智能体运行成本估算器](https://broadrouter.com/tools/agent-run-cost-estimator/)。

## BroadNet Inference 适合什么场景

BroadNet Inference 在 usage 块中返回提示词 token 和补全 token，模型有报告时还会返回缓存 token 和思考 token，所以上面的测量方法可以直接照用。DeepSeek V4.1 Flash 的缓存输入价格低，稳定的前缀会带来回报。如果你觉得不值得花时间去裁剪，不限量套餐会去掉 DeepSeek V4.1 Flash 的 token 计量，每个会话每月 $60；上下文窗口限制仍然适用，精简的上下文也仍然跑得更快。套餐见 [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-agent-token-budget&utm_content=body)。

相关免费工具（英文）

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

[输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/)

输入 token 是语言模型在一次请求中读取的 token，包括系统提示词、对话历史、工具定义和图片。输出 token 是模型生成回复的 token，包括思考内容。大模型 API 通常分别计价，输出一般更贵。

[系统提示词（system prompt）](https://broadrouter.com/zh/glossary/system-prompt/)

系统提示词是应用在对话开始前发给语言模型的指令文本，通常是一条 system 或 developer 角色的消息。它设定模型的角色、规则、语气和输出格式，当用户消息与它冲突时，模型应当优先遵循它。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[缓存输入 token（cached input tokens）](https://broadrouter.com/zh/glossary/cached-input-tokens/)

缓存输入 token 是大模型服务商近期已处理过、可以直接从缓存中复用而无需重新计算的提示词 token，通常是重复的前缀，例如系统提示词或文档。服务商对它们按低于新输入 token 的单价计费。

[MCP（模型上下文协议，Model Context Protocol）](https://broadrouter.com/zh/glossary/mcp/)

MCP（模型上下文协议）是一个基于 JSON-RPC 2.0 的开放协议，规范了大模型应用连接外部工具和数据的方式。MCP 服务器提供工具、资源和提示词；宿主应用中的 MCP 客户端发现它们，并把模型发出的工具调用转交给服务器。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

## 常见问题

### 为什么我的编程智能体用掉这么多输入 token？

因为 API 是无状态的。每次调用都会重发系统提示词、每一个工具定义、到目前为止的对话，以及仍在上下文中的全部文件内容。会话一长，这些内容就要乘以步数。

### 怎样查看智能体每一步用了多少 token？

读取每个响应的 usage 块。如果用流式输出，把 stream\_options 的 include\_usage 设为 true，并读取最后一个分块。连同步骤编号一起记录 prompt\_tokens、prompt\_tokens\_details.cached\_tokens 和 completion\_tokens。

### 工具定义算输入 token 吗？

算。工具列表是提示词的一部分，每次调用都会发送。MCP 服务器会把它们的工具加进这个列表，所以 opencode 的文档建议只添加你需要的服务器。

### 提示词缓存能解决这个问题吗？

它降低的是重复前缀的价格，而不是它的大小。缓存输入仍然占用上下文窗口。在 BroadNet 上，DeepSeek V4.1 Flash 的缓存输入每 1M token 为 $0.0055，新输入为 $0.175。

### 思考 token 算在预算里吗？

算，在输出一侧。思考模型把思考计入 max\_tokens，按量付费时按输出计费。常规步骤请把 reasoning\_effort 设为 low。

## 继续阅读

-   [OpenClaw 和 Hermes Agent 接便宜模型：配置与 token 账](https://broadrouter.com/zh/blog/openclaw-hermes-agent-cheap-model/)
-   [缓存输入 token 详解：如何降低大模型 API 账单](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)
-   [多智能体方案到底要花多少钱：按 token 计费 vs 固定价格会话](https://broadrouter.com/zh/blog/multi-agent-cost/)
-   [编程智能体最佳开源模型：按工具、上下文和成本来选](https://broadrouter.com/zh/blog/best-open-model-for-coding-agents/)
-   [大模型 API 包月还是按 token 付费：盈亏平衡怎么算](https://broadrouter.com/zh/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [减少提示词 token：系统提示词、工具和数据的实测精简](https://broadrouter.com/zh/blog/reduce-prompt-tokens/)
-   [AI 编程智能体跑一次要花多少钱：步数、上下文增长与缓存](https://broadrouter.com/zh/blog/ai-coding-agent-run-cost/)
-   [Claude Code 接入开源模型：代理、原生端点与限制](https://broadrouter.com/zh/blog/claude-code-with-openai-compatible-models/)
-   [指南：对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/)
-   [指南：推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [指南：用不限量的 DeepSeek V4.1 Flash 运行 Aider](https://broadrouter.com/zh/guides/aider-unlimited-deepseek/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-agent-token-budget&utm_content=page-cta) ·

**来源**

-   [Cursor：改进 token 效率（2026 年 9 月 23 日；2026-11-14 获取）](https://cursor.com/blog/improved-token-efficiency)
-   [VS Code 博客：提升 GitHub Copilot 的 token 效率（2026-11-14 获取）](https://code.visualstudio.com/blogs/2026/06/17/improving-token-efficiency-in-github-copilot)
-   [OpenAI 函数调用指南：少于 20 个函数（2026-11-14 获取）](https://developers.openai.com/api/docs/guides/function-calling)
-   [opencode 文档：MCP 服务器与上下文占用（2026-11-14 获取）](https://opencode.ai/docs/mcp-servers/)
-   [Aider 文档：仓库地图与聊天内命令（2026-11-14 获取）](https://aider.chat/docs/repomap.html)
-   [BroadNet Inference API 参考：用量与缓存 token（2026-11-14 获取）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-agent-token-budget&utm_content=sources)
