更短的提示词更省钱,能为实际工作留出更多上下文窗口,通常还能更快返回第一个 token。但“把提示词写短一点”是句空话。本文在一个贴近真实的客服机器人提示词上,用四个开放模型的真实分词器和 OpenAI 的 o200k_base,实测常见的精简手段,让你看清哪些修改值得花时间。
如果你在运行编程智能体,智能体 token 预算讲的就是那个循环。本文讲的是应用提示词:聊天机器人、分类器和信息抽取任务。
我们是怎么测的?
以下所有计数均由我们于 2026 年 11 月 15 日完成:
- **分词器。**DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B 以及 Google Gemma 4 26B A4B 的官方
tokenizer.json文件,各自固定在某个 Hugging Face 版本(见来源),用 Hugging Facetokenizers0.23.3 加载。另加tiktoken0.14.0 中的o200k_base,用于和 GPT 模型对比。未添加特殊 token。 - **渲染后的提示词。**对 DeepSeek、GLM 和 Qwen,我们还用各模型公开的
chat_template.jinja(Jinja2 沙箱)渲染了完整请求,包括系统提示词、工具、历史和问题,并对结果计数。这与服务器实际分词的内容很接近,但服务商可能使用不同的模板,所以请以 API 返回的usage.prompt_tokens为准。 - **文本。**一个虚构电信公司的合成客服机器人:261 个英文词的系统提示词、10 个工具、8 个 few-shot 示例、40 行订单数据、20 轮历史对话,以及一段 31 个词的阿拉伯语。一个提示词只是一个数据点。你的节省幅度会不同,但方法是通用的。
BroadNet 的 Gemma 4 VL 26B 基于 Google 的模型,所以它的计数是估算值。其他模型使用的是各自的文件。
哪些精简最省 token?
原始文本,修改前 → 修改后,括号内为节省比例:
| 修改 | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| 系统提示词:261 词 → 66 词 | 295 → 88 (70%) | 294 → 89 (70%) | 297 → 95 (68%) | 297 → 96 (68%) | 293 → 86 (71%) |
| Few-shot:8 个示例 → 3 个 | 157 → 69 (56%) | 157 → 69 (56%) | 156 → 71 (54%) | 156 → 71 (54%) | 152 → 69 (55%) |
| 40 行:带缩进 JSON → 压缩 JSON | 2,446 → 1,606 (34%) | 2,460 → 1,581 (36%) | 3,180 → 1,980 (38%) | 3,210 → 2,010 (37%) | 2,446 → 1,567 (36%) |
| 40 行:压缩 JSON → CSV | 1,606 → 948 (41%) | 1,581 → 960 (39%) | 1,980 → 1,359 (31%) | 2,010 → 1,382 (31%) | 1,567 → 946 (40%) |
| 10 个工具:冗长 → 简短描述 | 1,224 → 806 (34%) | 1,214 → 797 (34%) | 1,225 → 806 (34%) | 1,252 → 827 (34%) | 1,202 → 796 (34%) |
| 10 个冗长工具 → 3 个简短工具 | 1,224 → 258 (79%) | 1,214 → 257 (79%) | 1,225 → 266 (78%) | 1,252 → 276 (78%) | 1,202 → 255 (79%) |
| 阿拉伯语段落:完整标注元音 → 不带符号 | 193 → 74 (62%) | 267 → 78 (71%) | 151 → 62 (59%) | 180 → 64 (64%) | 218 → 62 (72%) |
对英文文本,各分词器的节省比例相近,所以对一个模型有效的精简,对其他模型也有效。有两行打破了这个规律。订单数据在每种格式下,Qwen 和 Gemma 都比 DeepSeek 和 GLM 多花 23% 到 46% 的 token,因为它们的分词器把数字拆成单个数位:100200 在 Qwen 上是 6 个 token,在 DeepSeek 上是 2 个。另外,阿拉伯语变音符号对某些分词器的影响远大于其他分词器。
完整请求是什么样子?
原始文本漏掉了对话模板。用各模型自己的模板渲染、使用同一个客户问题,实测的完整提示词如下:
| 请求 | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B |
|---|---|---|---|
| A. 冗长系统提示词 + 10 个冗长工具 | 1,677 | 1,535 | 1,797 |
| B. 精简系统提示词 + 10 个简短工具 | 1,052 | 913 | 1,176 |
| C. 精简系统提示词 + 3 个简短工具 | 574 | 443 | 636 |
| D. 精简系统提示词,无工具 | 136 | 121 | 174 |
| C + 之前 20 轮完整对话 | 2,374 | 2,243 | 2,693 |
| C + 3 行摘要 + 最近 4 轮 | 979 | 849 | 1,103 |
从 A 到 C,每个请求减少了约 65% 到 71%(Qwen 上为 64.6%,GLM 上为 71.1%)。其中大部分来自工具。在冗长系统提示词下渲染,10 个冗长工具在 DeepSeek 上多出 1,334 token,在 GLM 上多出 1,209,在 Qwen 上多出 1,421;C 中的 3 个简短工具比 D 多出 322 到 462。工具调用的 schema 会随每个请求发送,不管模型用不用它们。
量大时,这就很可观了。在 Qwen3.8 27B 上,从 A 到 C 每个请求节省 1,161 token。每月 100,000 个请求就是约 1.16 亿输入 token,按标准输入价计每月 116 × $0.175。
如何精简系统提示词而不把它改坏?
我们 261 词的提示词和 66 词的提示词包含同样的七条规则。所有精简都属于同几类:
- 去掉对模型的客套话。“It is very important that you always remain polite and courteous at all times”(译文:非常重要的是,你必须始终保持礼貌和谦恭)直接删掉:角色设定那一行已经隐含了这层意思。
- **一条规则一行。**用要点列表代替 “Please make sure that you always…”(译文:请务必确保你总是……)这样的句子。
- **合并重复内容。**关于语言的三句话变成了 “Reply in the customer’s language (Arabic or English), briefly.”(译文:用客户的语言(阿拉伯语或英语)简短回复。)
- 删除重复默认行为的话。“Remember to always be helpful!”(译文:记得始终乐于助人!)什么也改变不了。
然后测试。一个丢了规则的短提示词,损失比节省的还多。用同样的 50 到 100 条真实输入跑两个版本并比较,就像切换模型前先评估中那样。
需要多少个 few-shot 示例?
比大多数提示词里带的要少。每个 few-shot 示例在每次调用时都要付费。保留那些能纠正模型在没有示例时会犯的错误的示例,比如阿拉伯语分类器的方言示例;删掉模型本来就能做对的。我们从 8 个减到 3 个,示例部分节省了 54% 到 56%。3 个对你的任务够不够,是准确率问题而不是 token 问题,所以请在你的测试集上检查。
工具、数据和历史应该换种方式发送吗?
**工具。**只发送当前步骤能用到的工具。一个账单问题需要 get_account、get_bill 和 create_ticket,而不需要 order_esim。把描述精简到模型选择和填写工具所需的程度。这里缩进无关紧要:我们渲染的模板全都用 tojson 重新序列化 tools 数组,所以格式化的 tools 数组和压缩后的费用一样。
**消息中的数据。**粘贴到消息里的数据会按原样发送。至少要把 JSON 压缩。对于扁平的记录,CSV 或 TSV 去掉了重复的键名:在我们的测试中比压缩 JSON 少 31% 到 41% 的 token。嵌套数据仍然用 JSON。请检查模型是否仍能正确读取各列。
**历史。**每一轮过去的对话都会重新发送。把 16 轮旧对话换成三行摘要、最近四轮原样保留,让 Qwen 提示词从 2,693 降到 1,103 token。摘要会丢掉用户可能回头提到的细节,而且改写摘要会改变前缀,从而破坏缓存。长时间运行智能体的上下文管理介绍了何时压缩。
**阿拉伯语变音符号。**大多数阿拉伯语书写时不带短元音。如果你的输入来自词典、教材或宗教文献,带有完整元音标注,那么去掉这些符号(U+064B 到 U+0652)让我们的段落减少了 59% 到 72%。如果任务依赖它们,比如教学或诗歌,就保留。阿拉伯语文本规范化介绍了其他值得规范化的字符,阿拉伯语每词 token 数介绍了它与英语之间更大的差距。
缓存在其中起什么作用?
缓存不会缩短提示词,它让重复的部分更便宜。OpenAI 的缓存指南说 “the entire rendered prefix”(译文:整个渲染后的前缀)必须匹配,并建议把稳定的指令放在最前面。BroadNet 的价格页把缓存输入描述为 “usually the repeated start of recent requests, such as a long system prompt”(译文:通常是近期请求中重复的开头部分,比如一段很长的系统提示词),无需任何设置;其文档在 usage.prompt_tokens_details.cached_tokens 中报告命中。
所以顺序是:先缩短,再让缩短后的前缀保持稳定。系统提示词和工具放在最前面,每次调用都逐字节一致;接着是历史,只追加不改写;新消息放在最后。在 Qwen3.8 27B 上,缓存输入每百万 $0.0435,新输入则是 $0.175。如何组织提示词以利用缓存给出了布局和一个证明前缀被复用的测试。缓存 token 仍然占用上下文窗口。
如何测量你自己的提示词?
从账单开始。按调用位置记录一天的 usage.prompt_tokens,找出最大的那个。然后用下面的脚本在本地比较两个版本,它会打印两个文件修改前后的计数:
# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer
def hf(repo, rev):
return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))
COUNTERS = {
"Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
"GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}
def n(enc, text):
out = enc(text)
return len(out.ids if hasattr(out, "ids") else out)
def diff(before, after):
for name, enc in COUNTERS.items():
a, b = n(enc, before), n(enc, after)
print(f"{name:12} {a:6} -> {b:6} saved {a - b} ({100 * (a - b) / a:.0f}%)")
if __name__ == "__main__":
diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())
在我们的两个系统提示词上运行,输出为:
Qwen3.8 27B 297 -> 95 saved 202 (68%)
GPT o200k 293 -> 86 saved 207 (71%)
从来源列表中加入其他模型的仓库,就能比较全部四个模型。想在浏览器里快速检查,可以用提示词 token 对比工具并排比较两个版本,用 token 计数器统计单个版本。部署之后,用包含模板的 usage.prompt_tokens 确认节省效果。
BroadNet Inference 适合什么场景
BroadRouter 是 BroadNet 的网站。BroadNet Inference 按各模型的输入价对提示词 token 计费,对于有缓存价格的模型,重复的前缀从缓存读取并按缓存价计费,所以更短的提示词和稳定的前缀都能降低账单。Gemma 4 VL 26B 的上下文为 32,768 token,在它上面精简既关乎费用,也关乎能否放得下。DeepSeek V4.1 Flash 套餐不计 token,但 1,048,576 token 的上下文限制依然适用,更短的提示词也依然返回得更快。每个请求结束后,提示词都不会被保留。
