BroadRouter
开始使用

字节对编码(BPE,byte pair encoding)

更新于

字节对编码(BPE)是一种子词分词算法:从单个字符或字节出发,反复把出现频率最高的相邻符号对合并成新的词表条目,直到达到目标词表大小。当前大多数大模型分词器使用 BPE 或它的字节级变体。

又称: 字节对编码、BPE 分词、BPE 算法、字节级 BPE、子词分词、byte pair encoding、byte-pair encoding、byte-level BPE、BPE tokenization

字节对编码是大多数大模型分词器背后的方法:找出经常一起出现的文本片段,给每个高频片段分配一个自己的 token。

工作原理

Sennrich、Haddow 和 Birch(2015)把原本是压缩方法的 BPE 用到了翻译上。他们的观点是,人名、复合词和罕见词都可以由更小的单元拼成,所以模型不需要为每个词都准备一个词典条目。

训练 BPE 词表是一个简单的循环,Hugging Face 的文档逐步演示了这个过程:

  1. 统计训练语料中的词频,例如 hug 10、pug 5、pun 12、bun 4、hugs 5。
  2. 从单个字符开始:b g h n p s u。
  3. 找出出现最多的相邻符号对。u + g 出现 20 次,于是加入 ug。
  4. 重复。u + n(16 次)合并为 un。
  5. 达到目标词表大小时停止,词表大小等于基础符号数加上合并次数。

编码新文本时,分词器按同样的顺序应用学到的合并规则。编码是确定性的:同样的文本总是得到同样的 token。

字节级 BPE 从 256 个字节值而不是字符开始,这样任何字符串都能编码。GPT-2 的词表是 256 个字节 + 50,000 次合并 + 1 个文本结束 token = 50,257。

为什么重要

BPE 解释了你在 API 账单上看到的几个现象:

  • 常见英语单词只占一个 token,因为它们的字符对很早就被合并了。
  • 罕见词、拼写错误和非拉丁文字会切成更多 token。 在 UTF-8 中,一个阿拉伯字母占 2 个字节,所以一个很少学到阿拉伯语合并规则的字节级分词器,每个词要花更多 token。
  • 不同模型的计数不同。 每个模型都从自己的数据里学到自己的合并规则。

我们在 2026-11-14 的测量显示了这种影响。同一段 117 个词的海湾方言对话,在 GLM 5.3 上是 276 个 token,在 Qwen3.8 27B 上是 229 个。也就是每 100 个词 276 / 117 x 100 = 235.9 个 token,对比 229 / 117 x 100 = 195.7 个。这段对话的英语译文分别是 202 和 208 个 token,几乎一样。

在 BroadNet Inference 上

在 BroadNet 上你不能选择分词器,每个模型使用自己的分词器。为阿拉伯语流量选模型之前,请在阿拉伯语 token 计数器里比较你真实文本的计数,完整数据表见阿拉伯语和英语每个词的 token 数。记住,决定价格的是 token 数,而不是词数。

常见问题

是谁把 BPE 用到语言模型上的?

BPE 最初是一种数据压缩算法。2015 年,Sennrich、Haddow 和 Birch 把它改造成把罕见词切分为子词单元的方法,用于神经机器翻译,大模型的分词器就是从这项工作发展而来的。

什么是字节级 BPE?

一种基础词表是 256 个可能字节值而不是字符的 BPE 分词器,所以任何文字、任何文本都能编码,不会出现未知 token。GPT-2 用的就是它,共 50,257 个条目。

为什么 BPE 切分阿拉伯语比英语产生更多 token?

合并规则是从训练数据里学来的。如果分词器见过的阿拉伯语较少,合并的阿拉伯语字符对就少,阿拉伯语单词就会被切成更多片段。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity