字节对编码是大多数大模型分词器背后的方法:找出经常一起出现的文本片段,给每个高频片段分配一个自己的 token。
工作原理
Sennrich、Haddow 和 Birch(2015)把原本是压缩方法的 BPE 用到了翻译上。他们的观点是,人名、复合词和罕见词都可以由更小的单元拼成,所以模型不需要为每个词都准备一个词典条目。
训练 BPE 词表是一个简单的循环,Hugging Face 的文档逐步演示了这个过程:
- 统计训练语料中的词频,例如
hug10、pug5、pun12、bun4、hugs5。 - 从单个字符开始:
b g h n p s u。 - 找出出现最多的相邻符号对。
u+g出现 20 次,于是加入ug。 - 重复。
u+n(16 次)合并为un。 - 达到目标词表大小时停止,词表大小等于基础符号数加上合并次数。
编码新文本时,分词器按同样的顺序应用学到的合并规则。编码是确定性的:同样的文本总是得到同样的 token。
字节级 BPE 从 256 个字节值而不是字符开始,这样任何字符串都能编码。GPT-2 的词表是 256 个字节 + 50,000 次合并 + 1 个文本结束 token = 50,257。
为什么重要
BPE 解释了你在 API 账单上看到的几个现象:
- 常见英语单词只占一个 token,因为它们的字符对很早就被合并了。
- 罕见词、拼写错误和非拉丁文字会切成更多 token。 在 UTF-8 中,一个阿拉伯字母占 2 个字节,所以一个很少学到阿拉伯语合并规则的字节级分词器,每个词要花更多 token。
- 不同模型的计数不同。 每个模型都从自己的数据里学到自己的合并规则。
我们在 2026-11-14 的测量显示了这种影响。同一段 117 个词的海湾方言对话,在 GLM 5.3 上是 276 个 token,在 Qwen3.8 27B 上是 229 个。也就是每 100 个词 276 / 117 x 100 = 235.9 个 token,对比 229 / 117 x 100 = 195.7 个。这段对话的英语译文分别是 202 和 208 个 token,几乎一样。
在 BroadNet Inference 上
在 BroadNet 上你不能选择分词器,每个模型使用自己的分词器。为阿拉伯语流量选模型之前,请在阿拉伯语 token 计数器里比较你真实文本的计数,完整数据表见阿拉伯语和英语每个词的 token 数。记住,决定价格的是 token 数,而不是词数。