---
title: "什么是大模型分词器的词表大小（vocab size）？ | BroadRouter"
description: "词表大小是模型认识的不同 token 的数量。DeepSeek、GLM、Qwen 和 Gemma 的实测词表大小，以及为什么词表更大不一定 token 更少。"
url: https://broadrouter.com/zh/glossary/vocabulary-size/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/vocabulary-size/)（2026-11-16 更新）。

# 词表大小（vocabulary size）

更新于 2026-11-16

词表大小是语言模型分词器中不同 token 的数量，每个 token 都有自己的 ID 和嵌入向量。更大的词表能用更少的 token 编码常见文本，但会让嵌入层和输出层变大，而且只对词表训练时见过的文本有效。

又称： 词表、词汇表大小、词表规模、分词器词表、vocabulary size、vocab size、vocab\_size、tokenizer vocabulary、token vocabulary

词表大小告诉你，模型能用单个 [token](https://broadrouter.com/zh/glossary/token/) 表示多少种不同的文本片段。

## 工作原理

[BPE](https://broadrouter.com/zh/glossary/bpe/) 分词器的词表由基础符号加上它学到的每一次合并组成。Hugging Face 的文档以最初的 GPT 为例：478 个基础 token + 40,000 次合并 = 40,478。目标大小由构建者在训练前选定。

我们在 2026-11-14 从 Hugging Face 上各模型固定版本的 `tokenizer.json` 读取了词表：

| 分词器 | 词表条目数 | 含特殊 token 的 ID 总数 |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B（Google 基础版） | 262,144 | 262,144 |
| OpenAI o200k\_base（参照） | 199,998 | 200,019 |

Gemma 4 模型卡写明 262K 词表，与此一致。Qwen3.8 模型卡列出的嵌入大小为 248,320，标注为 “padded”（译文：已填充），比实际使用的 248,077 个 ID 更大。

## 为什么重要

对 API 用户来说，词表大小只是每个词成本的间接提示。真正起作用的是这些合并是在哪些文本上训练的。比较一下我们[分词器数据集](https://broadrouter.com/data/tokenizer-efficiency/)中同样 39,037 个现代标准阿拉伯语词的每 100 词 token 数：

-   DeepSeek V4.1 Flash，128,000 个条目：86,690 / 39,037 x 100 = 222.1
-   GLM 5.3，154,820 个条目：95,230 / 39,037 x 100 = 243.9
-   Qwen3.8 27B，248,044 个条目：71,424 / 39,037 x 100 = 183.0
-   Gemma 4，262,144 个条目：79,120 / 39,037 x 100 = 202.7

GLM 5.3 的条目比 DeepSeek 多，但在这段文本上用的 token 更多。Gemma 的条目最多，却不是最紧凑的。对于英文文章，五个分词器都落在每 100 词 127 到 132 个 token 之间，所以在英文上词表大小几乎没有影响。

规则是：用模型的[分词器](https://broadrouter.com/zh/glossary/tokenizer/)测量你自己的文本，而不是根据词表数字推断成本。

## 在 BroadNet Inference 上

BroadNet 不公布词表大小；上面的数字来自公开的模型仓库。Gemma 一行使用的是 Google 的基础分词器，我们假定 BroadNet 的 Gemma 4 VL 26B 构建沿用了它。想看看对你自己的提示词有什么影响，请使用 [token 计数器](https://broadrouter.com/tools/token-counter/)；在阿拉伯语场景下选模型，请把[为阿拉伯语选择 LLM](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/) 与[每词 token 数研究](https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/)一起阅读。

## 常见问题

### 词表越大，token 就越少吗？

通常如此，但并非总是。在我们 2026-11-14 的测试中，Gemma 4 的词表最大（262,144），但一段阿拉伯语文本用了 347 个 token，而词表为 248,044 的 Qwen3.8 27B 只用了 316 个。

### 为什么 vocab\_size 和分词器文件对不上？

模型配置常把嵌入表填充到一个整数，并为特殊 token 预留 ID。Qwen3.8 27B 列出的填充后大小为 248,320，而它的 tokenizer.json 使用的 ID 从 0 到 248,076（ID 从 0 开始），共 248,077 个。

### 在哪里查模型的词表大小？

看模型 config.json 中的 vocab\_size，或者加载它的 tokenizer.json 数条目数。配置值往往经过填充，所以分词器文件给出的才是实际使用的 token 的准确数量。

## 另请参阅

-   [分词器（tokenizer）](https://broadrouter.com/zh/glossary/tokenizer/)（术语）
-   [字节对编码（BPE，byte pair encoding）](https://broadrouter.com/zh/glossary/bpe/)（术语）
-   [Token（词元）](https://broadrouter.com/zh/glossary/token/)（术语）
-   [上下文窗口（context window）](https://broadrouter.com/zh/glossary/context-window/)（术语）
-   [阿拉伯语与英语每词 token 数：为什么阿拉伯语更贵](https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/)（文章）
-   [如何选择阿拉伯语大模型 API：该测试什么](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-vocabulary-size&utm_content=page-cta) ·

**来源**

-   [Hugging Face Transformers，分词算法（词表大小 = 基础符号 + 合并次数）](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging Face 模型卡，google/gemma-4-26B-A4B-it（262K 词表）](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Hugging Face 模型卡，Qwen/Qwen3.8-27B（填充后的嵌入大小 248,320）](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging Face 模型仓库，zai-org/GLM-5.3（GLM tokenizer.json 的来源）](https://huggingface.co/zai-org/GLM-5.3)
