語彙サイズは、モデルが 1 つのトークンで表せるテキスト片が何種類あるかを示します。
仕組み
BPE トークナイザーの語彙は、基本記号と、学習したすべてのマージからなります。Hugging Face のドキュメントは初代 GPT を例に挙げています。基本トークン 478 + マージ 40,000 = 40,478 です。目標のサイズは、作成者が学習前に決めます。
2026-11-14 に、Hugging Face 上の各モデルの固定バージョンの tokenizer.json から語彙を読み取りました。
| トークナイザー | 語彙エントリ数 | 特殊トークンを含む ID の総数 |
|---|---|---|
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B(Google のベース) | 262,144 | 262,144 |
| OpenAI o200k_base(参考) | 199,998 | 200,019 |
Gemma 4 のモデルカードには 262K の語彙と書かれており、一致します。Qwen3.8 のモデルカードは埋め込みサイズを 248,320 とし “padded”(訳:パディング済み)と記していて、実際に使われる 248,077 個の ID より大きくなっています。
なぜ重要か
API の利用者にとって、語彙サイズは単語あたりのコストの間接的な手がかりにすぎません。効いてくるのは、マージがどのテキストで学習されたかです。トークナイザーのデータセットで、同じ 39,037 語の現代標準アラビア語について、100 語あたりのトークン数を比べてみましょう。
- DeepSeek V4.1 Flash、128,000 エントリ:86,690 / 39,037 x 100 = 222.1
- GLM 5.3、154,820 エントリ:95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B、248,044 エントリ:71,424 / 39,037 x 100 = 183.0
- Gemma 4、262,144 エントリ:79,120 / 39,037 x 100 = 202.7
GLM 5.3 は DeepSeek よりエントリが多いのに、このテキストではトークンを多く使います。Gemma はエントリが最多ですが、最もコンパクトではありません。英語の文章では 5 つとも 100 語あたり 127〜132 トークンに収まるため、語彙サイズはほとんど関係ありません。
原則として、語彙の数字からコストを推測するのではなく、モデルのトークナイザーで自分のテキストを測ってください。
BroadNet Inference では
BroadNet は語彙サイズを公表していません。上の数字は公開されているモデルリポジトリによるものです。Gemma の行は Google のベーストークナイザーを使っており、BroadNet の Gemma 4 VL 26B ビルドもこれを引き継いでいると仮定しています。自分のプロンプトへの影響を確かめるにはトークンカウンターを使ってください。アラビア語でのモデル選びについては、アラビア語向け LLM の選び方と単語あたりトークン数の調査をあわせて読んでください。