一个干了一下午活的编程智能体会积累大量历史:读过的文件、运行过的命令、测试输出、计划、更正。每一轮都要把这些全部发回给模型。你如何管理这份不断增长的上下文,同时决定了三件事:每一轮的成本、响应速度,以及智能体是否还记得自己在做什么。
1M token 的窗口改变了这些取舍,但并没有让它们消失。
1M token 窗口能给长时间运行的智能体带来什么?
在 BroadNet Inference 上,DeepSeek V4.1 Flash 和 GLM 5.3 每个请求最多接受 1,048,576 个 token,提示词和回答合计。Qwen3.8 27B 接受 262,144 个。窗口较小时,智能体工作一两个小时后就得做摘要。有了一百万 token,它通常能保留整个会话的原始历史,只在非常长的运行接近尾声时才压缩。
这是实实在在的优势:摘要会丢信息,每做一次摘要,都可能忘掉那个恰好关键的细节。但有三种成本仍会随提示词增长:
- 金钱:用按 token 计费的密钥时,每一轮都要重新发送整个提示词。
- 延迟:服务器必须处理完所有输入 token,才能输出第一个 token。
- 注意力。 输入变长时质量可能下降,这种现象叫上下文腐化(context rot)。论文 “Lost in the Middle” 发现,模型对长输入开头和结尾的信息,往往比对中间的信息利用得更可靠。较新的模型表现更好,但把重要事实放在靠近两端的位置,这个习惯仍然值得保留。
规则 1:为什么历史应该只追加?
提示词缓存从提示词的开头开始匹配。如果这一轮的前 300,000 个 token 与上一轮完全相同,它们就可以从缓存中读取;第一个发生变化的 token 会终止匹配。只要模型会报告,BroadNet 的 API 就会在 usage.prompt_tokens_details.cached_tokens 中给出这个数,并按更低的单价对缓存输入计费:DeepSeek V4.1 Flash 上每 1M token $0.0055,而新输入是 $0.175。
所以每个请求都按相同的顺序组织,并且永远只往末尾添加:
[ system prompt ] never changes during a session
[ tool definitions ] fixed order, never changes
[ project notes ] changes rarely, and only by appending
[ turn 1 ... turn N ] grows at the end
[ new message ]
常见的前缀破坏者有:系统提示词里的时间戳、顺序不固定的工具定义,以及重新渲染旧的工具结果。对智能体来说还要再加一个:每次都丢掉最旧一轮的“滑动窗口”式裁剪,它会让后面的所有内容整体移位。以上每一种都会把已缓存的提示词变成一个全新的提示词;面向缓存的提示词结构列出了其余情况,并附有一个验证前缀确实被缓存的测试。在长会话中差别很大:提示词的大部分都可以是缓存输入,而不是新输入。参见缓存输入如何计费。
规则 2:如何测量缓存命中率?
每个请求都记录下来。用 OpenAI SDK,在调用之后加三行即可:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
一个健康的只追加型智能体,从第二轮起每一轮的缓存占比都很高。如果突然降到接近零,说明提示词靠前的某处发生了变化。找到它,把它固定下来。提示词缓存计算器可以把缓存命中率换算成每个会话的花费。
规则 3:上下文变大时,应该先删减什么?
当上下文确实需要缩小时,删什么很重要。在大多数智能体的对话记录里,大头是工具输出:一份 4,000 行的测试日志、为了找一个函数而读入的整份文件、一份目录列表。真正有价值的部分很小:计划、决策及其理由、已经修复的错误。
删减顺序,从先到后:
- 过时的工具输出。 把旧工具结果的正文替换成一行占位说明:“运行 pytest:test_api.py 有 3 个失败(已在第 14 轮修复)”。
- 已被取代的文件内容。 如果智能体读了
api.py,修改了它,然后又读了一遍,第一次读取的内容就是累赘。 - 没有结果的探索。 没有带来任何修改的搜索和读取。
- 思考过程和计划。 这些保留得最久。它们解释了代码为什么是现在这个样子。
在工具输出产生的那一刻就截断,效果更好。给每个工具结果设上限(例如日志的最后 200 行加上总行数),需要更多时让智能体自己去要。这样历史既保持只追加,又保持精简。
规则 4:智能体什么时候应该压缩历史?
压缩(把较早的历史总结成更短的一段)是重型工具。它会改写前缀,所以压缩之后的那一轮,系统提示词之后的所有内容都要按全价输入付费。每隔几轮就压缩一点,意味着一次又一次地付这笔钱。
更好的做法:
- 选一个较高的阈值。 有了 1M 窗口,比如在用到 60–70% 时再压缩,就能给摘要那一轮和之后大量的新工作留出空间。
- 原样保留最近的部分。 只总结旧的部分,最后一段对话保持原样。opencode 的压缩文档就是这么描述的:它会总结对话,并保留最近的一部分,默认约 15,000 个 token。
- 用完整提示词来做摘要。 把整个对话发给摘要请求,它就能复用上一轮的缓存。
- 压缩一次,然后继续追加。 压缩后新的前缀是稳定的,缓存会从那里重新生效。
规则 5:笔记文件里应该放什么?
有些事实必须在任意多次压缩后都保留下来:目标、约束、已做的决策、构建和测试项目的命令。把它们放进一个简短的笔记文件(NOTES.md 或任务文件),让智能体往里追加并反复读取。它位于提示词靠前的位置,很少变化,而且一旦运行重启,它是新会话首先读取的内容。
这也是最便宜的一种记忆:几千个 token,就能让智能体不必在每次摘要后重新发现同样的事实。
思考 token 如何影响预算?
DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 都会先思考再回答,而思考内容计入 max_tokens。长会话不会改变这一点,但提示词很大时,人们容易想调低 max_tokens 来“省出空间”。不要这样做。过紧的输出预算会产生空回答,智能体随后又会重试。参见为什么回答会是空的。
还要记住,窗口是把提示词和回答一起计算的。提示词接近 1,048,576 个 token 时,就没有空间回答了。在那之前就要压缩;上下文窗口计算器会显示一个给定的提示词还剩多少空间。
用固定价格套餐时,这些还重要吗?
在 BroadNet 的套餐会话中,DeepSeek V4.1 Flash 不计 token:无论提示词多长,一个 Full Moon 会话都是每月 $60。缓存在省钱上的理由消失了,另外两个理由却还在。在许多推理服务系统中,已缓存的前缀通常处理得更快;管理得当的上下文也会带来更好的回答。习惯不变,只是理由变了。参见套餐会话如何运作。
上下文管理清单
- 系统提示词和工具列表在整个会话中保持固定。
- 历史只追加;旧的轮次从不重新格式化。
- 每个请求都记录缓存命中率。
- 工具输出在产生时就设上限;过时的输出之后换成占位说明。
- 在较高的阈值才压缩,并原样保留最近的部分。
- 一个记录目标、约束和决策的笔记文件。
- 输出预算足够容纳思考过程。
想进一步了解什么时候值得用满一百万 token 的窗口,请看 1M 上下文窗口指南。想阻止那些越跑越长却没有进展的会话,请看智能体循环成本控制。
