BroadRouter

减少提示词 token:系统提示词、工具和数据的实测精简

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 · 更新于

先测量:记录每次调用的 prompt_tokens,找出最大的部分,再用模型的分词器对比修改前后。在五种分词器上,精简啰嗦的系统提示词节省了 68% 到 71%,CSV 比压缩后的 JSON 少用 31% 到 41% 的 token。在三个模型上,精简系统提示词并用 3 个简短工具代替 10 个冗长工具,使完整渲染后的请求减少约 65% 到 71%。

更短的提示词更省钱,能为实际工作留出更多上下文窗口,通常还能更快返回第一个 token。但“把提示词写短一点”是句空话。本文在一个贴近真实的客服机器人提示词上,用四个开放模型的真实分词器和 OpenAI 的 o200k_base,实测常见的精简手段,让你看清哪些修改值得花时间。

如果你在运行编程智能体,智能体 token 预算讲的就是那个循环。本文讲的是应用提示词:聊天机器人、分类器和信息抽取任务。

我们是怎么测的?

以下所有计数均由我们于 2026 年 11 月 15 日完成:

  • **分词器。**DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B 以及 Google Gemma 4 26B A4B 的官方 tokenizer.json 文件,各自固定在某个 Hugging Face 版本(见来源),用 Hugging Face tokenizers 0.23.3 加载。另加 tiktoken 0.14.0 中的 o200k_base,用于和 GPT 模型对比。未添加特殊 token。
  • **渲染后的提示词。**对 DeepSeek、GLM 和 Qwen,我们还用各模型公开的 chat_template.jinja(Jinja2 沙箱)渲染了完整请求,包括系统提示词、工具、历史和问题,并对结果计数。这与服务器实际分词的内容很接近,但服务商可能使用不同的模板,所以请以 API 返回的 usage.prompt_tokens 为准。
  • **文本。**一个虚构电信公司的合成客服机器人:261 个英文词的系统提示词、10 个工具、8 个 few-shot 示例、40 行订单数据、20 轮历史对话,以及一段 31 个词的阿拉伯语。一个提示词只是一个数据点。你的节省幅度会不同,但方法是通用的。

BroadNet 的 Gemma 4 VL 26B 基于 Google 的模型,所以它的计数是估算值。其他模型使用的是各自的文件。

哪些精简最省 token?

原始文本,修改前 → 修改后,括号内为节省比例:

修改 DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
系统提示词:261 词 → 66 词 295 → 88 (70%) 294 → 89 (70%) 297 → 95 (68%) 297 → 96 (68%) 293 → 86 (71%)
Few-shot:8 个示例 → 3 个 157 → 69 (56%) 157 → 69 (56%) 156 → 71 (54%) 156 → 71 (54%) 152 → 69 (55%)
40 行:带缩进 JSON → 压缩 JSON 2,446 → 1,606 (34%) 2,460 → 1,581 (36%) 3,180 → 1,980 (38%) 3,210 → 2,010 (37%) 2,446 → 1,567 (36%)
40 行:压缩 JSON → CSV 1,606 → 948 (41%) 1,581 → 960 (39%) 1,980 → 1,359 (31%) 2,010 → 1,382 (31%) 1,567 → 946 (40%)
10 个工具:冗长 → 简短描述 1,224 → 806 (34%) 1,214 → 797 (34%) 1,225 → 806 (34%) 1,252 → 827 (34%) 1,202 → 796 (34%)
10 个冗长工具 → 3 个简短工具 1,224 → 258 (79%) 1,214 → 257 (79%) 1,225 → 266 (78%) 1,252 → 276 (78%) 1,202 → 255 (79%)
阿拉伯语段落:完整标注元音 → 不带符号 193 → 74 (62%) 267 → 78 (71%) 151 → 62 (59%) 180 → 64 (64%) 218 → 62 (72%)

对英文文本,各分词器的节省比例相近,所以对一个模型有效的精简,对其他模型也有效。有两行打破了这个规律。订单数据在每种格式下,Qwen 和 Gemma 都比 DeepSeek 和 GLM 多花 23% 到 46% 的 token,因为它们的分词器把数字拆成单个数位:100200 在 Qwen 上是 6 个 token,在 DeepSeek 上是 2 个。另外,阿拉伯语变音符号对某些分词器的影响远大于其他分词器。

完整请求是什么样子?

原始文本漏掉了对话模板。用各模型自己的模板渲染、使用同一个客户问题,实测的完整提示词如下:

请求 DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. 冗长系统提示词 + 10 个冗长工具 1,677 1,535 1,797
B. 精简系统提示词 + 10 个简短工具 1,052 913 1,176
C. 精简系统提示词 + 3 个简短工具 574 443 636
D. 精简系统提示词,无工具 136 121 174
C + 之前 20 轮完整对话 2,374 2,243 2,693
C + 3 行摘要 + 最近 4 轮 979 849 1,103

从 A 到 C,每个请求减少了约 65% 到 71%(Qwen 上为 64.6%,GLM 上为 71.1%)。其中大部分来自工具。在冗长系统提示词下渲染,10 个冗长工具在 DeepSeek 上多出 1,334 token,在 GLM 上多出 1,209,在 Qwen 上多出 1,421;C 中的 3 个简短工具比 D 多出 322 到 462。工具调用的 schema 会随每个请求发送,不管模型用不用它们。

量大时,这就很可观了。在 Qwen3.8 27B 上,从 A 到 C 每个请求节省 1,161 token。每月 100,000 个请求就是约 1.16 亿输入 token,按标准输入价计每月 116 × $0.175。

如何精简系统提示词而不把它改坏?

我们 261 词的提示词和 66 词的提示词包含同样的七条规则。所有精简都属于同几类:

  1. 去掉对模型的客套话。“It is very important that you always remain polite and courteous at all times”(译文:非常重要的是,你必须始终保持礼貌和谦恭)直接删掉:角色设定那一行已经隐含了这层意思。
  2. **一条规则一行。**用要点列表代替 “Please make sure that you always…”(译文:请务必确保你总是……)这样的句子。
  3. **合并重复内容。**关于语言的三句话变成了 “Reply in the customer’s language (Arabic or English), briefly.”(译文:用客户的语言(阿拉伯语或英语)简短回复。)
  4. 删除重复默认行为的话。“Remember to always be helpful!”(译文:记得始终乐于助人!)什么也改变不了。

然后测试。一个丢了规则的短提示词,损失比节省的还多。用同样的 50 到 100 条真实输入跑两个版本并比较,就像切换模型前先评估中那样。

需要多少个 few-shot 示例?

比大多数提示词里带的要少。每个 few-shot 示例在每次调用时都要付费。保留那些能纠正模型在没有示例时会犯的错误的示例,比如阿拉伯语分类器的方言示例;删掉模型本来就能做对的。我们从 8 个减到 3 个,示例部分节省了 54% 到 56%。3 个对你的任务够不够,是准确率问题而不是 token 问题,所以请在你的测试集上检查。

工具、数据和历史应该换种方式发送吗?

**工具。**只发送当前步骤能用到的工具。一个账单问题需要 get_account、get_bill 和 create_ticket,而不需要 order_esim。把描述精简到模型选择和填写工具所需的程度。这里缩进无关紧要:我们渲染的模板全都用 tojson 重新序列化 tools 数组,所以格式化的 tools 数组和压缩后的费用一样。

**消息中的数据。**粘贴到消息里的数据会按原样发送。至少要把 JSON 压缩。对于扁平的记录,CSV 或 TSV 去掉了重复的键名:在我们的测试中比压缩 JSON 少 31% 到 41% 的 token。嵌套数据仍然用 JSON。请检查模型是否仍能正确读取各列。

**历史。**每一轮过去的对话都会重新发送。把 16 轮旧对话换成三行摘要、最近四轮原样保留,让 Qwen 提示词从 2,693 降到 1,103 token。摘要会丢掉用户可能回头提到的细节,而且改写摘要会改变前缀,从而破坏缓存。长时间运行智能体的上下文管理介绍了何时压缩。

**阿拉伯语变音符号。**大多数阿拉伯语书写时不带短元音。如果你的输入来自词典、教材或宗教文献,带有完整元音标注,那么去掉这些符号(U+064B 到 U+0652)让我们的段落减少了 59% 到 72%。如果任务依赖它们,比如教学或诗歌,就保留。阿拉伯语文本规范化介绍了其他值得规范化的字符,阿拉伯语每词 token 数介绍了它与英语之间更大的差距。

缓存在其中起什么作用?

缓存不会缩短提示词,它让重复的部分更便宜。OpenAI 的缓存指南说 “the entire rendered prefix”(译文:整个渲染后的前缀)必须匹配,并建议把稳定的指令放在最前面。BroadNet 的价格页把缓存输入描述为 “usually the repeated start of recent requests, such as a long system prompt”(译文:通常是近期请求中重复的开头部分,比如一段很长的系统提示词),无需任何设置;其文档在 usage.prompt_tokens_details.cached_tokens 中报告命中。

所以顺序是:先缩短,再让缩短后的前缀保持稳定。系统提示词和工具放在最前面,每次调用都逐字节一致;接着是历史,只追加不改写;新消息放在最后。在 Qwen3.8 27B 上,缓存输入每百万 $0.0435,新输入则是 $0.175。如何组织提示词以利用缓存给出了布局和一个证明前缀被复用的测试。缓存 token 仍然占用上下文窗口。

如何测量你自己的提示词?

从账单开始。按调用位置记录一天的 usage.prompt_tokens,找出最大的那个。然后用下面的脚本在本地比较两个版本,它会打印两个文件修改前后的计数:

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

在我们的两个系统提示词上运行,输出为:

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

从来源列表中加入其他模型的仓库,就能比较全部四个模型。想在浏览器里快速检查,可以用提示词 token 对比工具并排比较两个版本,用 token 计数器统计单个版本。部署之后,用包含模板的 usage.prompt_tokens 确认节省效果。

BroadNet Inference 适合什么场景

BroadRouter 是 BroadNet 的网站。BroadNet Inference 按各模型的输入价对提示词 token 计费,对于有缓存价格的模型,重复的前缀从缓存读取并按缓存价计费,所以更短的提示词和稳定的前缀都能降低账单。Gemma 4 VL 26B 的上下文为 32,768 token,在它上面精简既关乎费用,也关乎能否放得下。DeepSeek V4.1 Flash 套餐不计 token,但 1,048,576 token 的上下文限制依然适用,更短的提示词也依然返回得更快。每个请求结束后,提示词都不会被保留。

常见问题

怎么减少提示词里的 token 数?

先测量:记录 usage.prompt_tokens,找出最大的部分。然后按我们实测节省从多到少的顺序:只发送某一步需要的工具,精简工具和系统提示词的措辞,表格用 CSV 而不是 JSON 发送,few-shot 示例只留会改变结果的那些,再把旧的对话轮次做成摘要。

格式化(带缩进)的 JSON 会用更多 token 吗?

会。在我们的测试中,把 40 行带缩进的 JSON 压缩后,视分词器不同节省了 34% 到 38% 的 token,改用 CSV 发送则节省 57% 到 61%。反过来说,带缩进的 JSON 比压缩 JSON 多用 52% 到 61% 的 token,比 CSV 多 132% 到 159%。工具 schema 是例外:对话模板会重新序列化它们,所以 tools 数组里的缩进根本不会传到模型。

工具定义要用多少 token?

取决于措辞和模型的模板。我们那 10 个描述冗长的工具,在 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 上让渲染后的提示词多出约 1,200 到 1,400 token。3 个描述简短的工具多出约 320 到 460。

阿拉伯语变音符号会增加 token 数吗?

会增加很多。在五种分词器上,一段 31 个词的现代标准阿拉伯语段落,不带变音符号是 62 到 78 token,完整标注元音则是 151 到 267 token。大多数阿拉伯语文本本来就不带变音符号,所以除非任务需要(例如诗歌或教学),否则从输入中去掉它们。

提示词缓存比缩短提示词更好吗?

两者配合使用。缓存让重复的前缀更便宜,但它仍然占用上下文窗口,也仍然要付费。先缩短,再让缩短后的前缀在每个请求的开头逐字节保持一致,这样它才能从缓存中读取。

为什么我算出的 token 数和 API 返回的 prompt_tokens 不一样?

API 计算的是渲染后的提示词:你的消息被包进对话模板,再加上按模板自身格式写入的工具 schema。只对原始文本运行分词器会漏掉这些。用分词器比较不同版本,用 usage.prompt_tokens 核对账单。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity