词表大小告诉你,模型能用单个 token 表示多少种不同的文本片段。
工作原理
BPE 分词器的词表由基础符号加上它学到的每一次合并组成。Hugging Face 的文档以最初的 GPT 为例:478 个基础 token + 40,000 次合并 = 40,478。目标大小由构建者在训练前选定。
我们在 2026-11-14 从 Hugging Face 上各模型固定版本的 tokenizer.json 读取了词表:
| 分词器 | 词表条目数 | 含特殊 token 的 ID 总数 |
|---|---|---|
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B(Google 基础版) | 262,144 | 262,144 |
| OpenAI o200k_base(参照) | 199,998 | 200,019 |
Gemma 4 模型卡写明 262K 词表,与此一致。Qwen3.8 模型卡列出的嵌入大小为 248,320,标注为 “padded”(译文:已填充),比实际使用的 248,077 个 ID 更大。
为什么重要
对 API 用户来说,词表大小只是每个词成本的间接提示。真正起作用的是这些合并是在哪些文本上训练的。比较一下我们分词器数据集中同样 39,037 个现代标准阿拉伯语词的每 100 词 token 数:
- DeepSeek V4.1 Flash,128,000 个条目:86,690 / 39,037 x 100 = 222.1
- GLM 5.3,154,820 个条目:95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B,248,044 个条目:71,424 / 39,037 x 100 = 183.0
- Gemma 4,262,144 个条目:79,120 / 39,037 x 100 = 202.7
GLM 5.3 的条目比 DeepSeek 多,但在这段文本上用的 token 更多。Gemma 的条目最多,却不是最紧凑的。对于英文文章,五个分词器都落在每 100 词 127 到 132 个 token 之间,所以在英文上词表大小几乎没有影响。
规则是:用模型的分词器测量你自己的文本,而不是根据词表数字推断成本。
在 BroadNet Inference 上
BroadNet 不公布词表大小;上面的数字来自公开的模型仓库。Gemma 一行使用的是 Google 的基础分词器,我们假定 BroadNet 的 Gemma 4 VL 26B 构建沿用了它。想看看对你自己的提示词有什么影响,请使用 token 计数器;在阿拉伯语场景下选模型,请把为阿拉伯语选择 LLM 与每词 token 数研究一起阅读。