BroadRouter

词表大小(vocabulary size)

更新于

词表大小是语言模型分词器中不同 token 的数量,每个 token 都有自己的 ID 和嵌入向量。更大的词表能用更少的 token 编码常见文本,但会让嵌入层和输出层变大,而且只对词表训练时见过的文本有效。

又称: 词表、词汇表大小、词表规模、分词器词表、vocabulary size、vocab size、vocab_size、tokenizer vocabulary、token vocabulary

词表大小告诉你,模型能用单个 token 表示多少种不同的文本片段。

工作原理

BPE 分词器的词表由基础符号加上它学到的每一次合并组成。Hugging Face 的文档以最初的 GPT 为例:478 个基础 token + 40,000 次合并 = 40,478。目标大小由构建者在训练前选定。

我们在 2026-11-14 从 Hugging Face 上各模型固定版本的 tokenizer.json 读取了词表:

分词器 词表条目数 含特殊 token 的 ID 总数
DeepSeek V4.1 Flash 128,000 129,280
GLM 5.3 154,820 154,856
Qwen3.8 27B 248,044 248,077
Gemma 4 26B A4B(Google 基础版) 262,144 262,144
OpenAI o200k_base(参照) 199,998 200,019

Gemma 4 模型卡写明 262K 词表,与此一致。Qwen3.8 模型卡列出的嵌入大小为 248,320,标注为 “padded”(译文:已填充),比实际使用的 248,077 个 ID 更大。

为什么重要

对 API 用户来说,词表大小只是每个词成本的间接提示。真正起作用的是这些合并是在哪些文本上训练的。比较一下我们分词器数据集中同样 39,037 个现代标准阿拉伯语词的每 100 词 token 数:

  • DeepSeek V4.1 Flash,128,000 个条目:86,690 / 39,037 x 100 = 222.1
  • GLM 5.3,154,820 个条目:95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B,248,044 个条目:71,424 / 39,037 x 100 = 183.0
  • Gemma 4,262,144 个条目:79,120 / 39,037 x 100 = 202.7

GLM 5.3 的条目比 DeepSeek 多,但在这段文本上用的 token 更多。Gemma 的条目最多,却不是最紧凑的。对于英文文章,五个分词器都落在每 100 词 127 到 132 个 token 之间,所以在英文上词表大小几乎没有影响。

规则是:用模型的分词器测量你自己的文本,而不是根据词表数字推断成本。

在 BroadNet Inference 上

BroadNet 不公布词表大小;上面的数字来自公开的模型仓库。Gemma 一行使用的是 Google 的基础分词器,我们假定 BroadNet 的 Gemma 4 VL 26B 构建沿用了它。想看看对你自己的提示词有什么影响,请使用 token 计数器;在阿拉伯语场景下选模型,请把为阿拉伯语选择 LLM 与每词 token 数研究一起阅读。

常见问题

词表越大,token 就越少吗?

通常如此,但并非总是。在我们 2026-11-14 的测试中,Gemma 4 的词表最大(262,144),但一段阿拉伯语文本用了 347 个 token,而词表为 248,044 的 Qwen3.8 27B 只用了 316 个。

为什么 vocab_size 和分词器文件对不上?

模型配置常把嵌入表填充到一个整数,并为特殊 token 预留 ID。Qwen3.8 27B 列出的填充后大小为 248,320,而它的 tokenizer.json 使用的 ID 从 0 到 248,076(ID 从 0 开始),共 248,077 个。

在哪里查模型的词表大小?

看模型 config.json 中的 vocab_size,或者加载它的 tokenizer.json 数条目数。配置值往往经过填充,所以分词器文件给出的才是实际使用的 token 的准确数量。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity