---
title: "LLM トークナイザーの語彙サイズ（vocab size）とは？ | BroadRouter"
description: "語彙サイズは、モデルが知っている異なるトークンの数です。DeepSeek、GLM、Qwen、Gemma の実測値と、語彙が大きくてもトークンが少なくなるとは限らない理由を解説します。"
url: https://broadrouter.com/ja/glossary/vocabulary-size/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/glossary/vocabulary-size/)（2026-11-16 更新）。

# 語彙サイズ（vocabulary size）

更新日 2026-11-16

語彙サイズとは、トークナイザーにある異なるトークンの数で、各トークンが固有の ID とエンベディングを持ちます。大きいほど一般的なテキストを少ないトークンで表せますが、埋め込み層と出力層が大きくなり、効果は語彙の学習に使ったテキストに限られます。

別名： 語彙数、ボキャブラリーサイズ、語彙表、トークナイザーの語彙、vocabulary size、vocab size、vocab\_size、tokenizer vocabulary、token vocabulary

語彙サイズは、モデルが 1 つの[トークン](https://broadrouter.com/ja/glossary/token/)で表せるテキスト片が何種類あるかを示します。

## 仕組み

[BPE](https://broadrouter.com/ja/glossary/bpe/) トークナイザーの語彙は、基本記号と、学習したすべてのマージからなります。Hugging Face のドキュメントは初代 GPT を例に挙げています。基本トークン 478 + マージ 40,000 = 40,478 です。目標のサイズは、作成者が学習前に決めます。

2026-11-14 に、Hugging Face 上の各モデルの固定バージョンの `tokenizer.json` から語彙を読み取りました。

| トークナイザー | 語彙エントリ数 | 特殊トークンを含む ID の総数 |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B（Google のベース） | 262,144 | 262,144 |
| OpenAI o200k\_base（参考） | 199,998 | 200,019 |

Gemma 4 のモデルカードには 262K の語彙と書かれており、一致します。Qwen3.8 のモデルカードは埋め込みサイズを 248,320 とし “padded”（訳：パディング済み）と記していて、実際に使われる 248,077 個の ID より大きくなっています。

## なぜ重要か

API の利用者にとって、語彙サイズは単語あたりのコストの間接的な手がかりにすぎません。効いてくるのは、マージがどのテキストで学習されたかです。[トークナイザーのデータセット](https://broadrouter.com/data/tokenizer-efficiency/)で、同じ 39,037 語の現代標準アラビア語について、100 語あたりのトークン数を比べてみましょう。

-   DeepSeek V4.1 Flash、128,000 エントリ：86,690 / 39,037 x 100 = 222.1
-   GLM 5.3、154,820 エントリ：95,230 / 39,037 x 100 = 243.9
-   Qwen3.8 27B、248,044 エントリ：71,424 / 39,037 x 100 = 183.0
-   Gemma 4、262,144 エントリ：79,120 / 39,037 x 100 = 202.7

GLM 5.3 は DeepSeek よりエントリが多いのに、このテキストではトークンを多く使います。Gemma はエントリが最多ですが、最もコンパクトではありません。英語の文章では 5 つとも 100 語あたり 127〜132 トークンに収まるため、語彙サイズはほとんど関係ありません。

原則として、語彙の数字からコストを推測するのではなく、モデルの[トークナイザー](https://broadrouter.com/ja/glossary/tokenizer/)で自分のテキストを測ってください。

## BroadNet Inference では

BroadNet は語彙サイズを公表していません。上の数字は公開されているモデルリポジトリによるものです。Gemma の行は Google のベーストークナイザーを使っており、BroadNet の Gemma 4 VL 26B ビルドもこれを引き継いでいると仮定しています。自分のプロンプトへの影響を確かめるには[トークンカウンター](https://broadrouter.com/tools/token-counter/)を使ってください。アラビア語でのモデル選びについては、[アラビア語向け LLM の選び方](https://broadrouter.com/ja/blog/choosing-an-llm-for-arabic/)と[単語あたりトークン数の調査](https://broadrouter.com/ja/blog/tokens-per-word-arabic-english/)をあわせて読んでください。

## よくある質問

### 語彙が大きいほどトークン数は少なくなりますか？

多くの場合はそうですが、常にではありません。2026-11-14 の私たちのテストでは、語彙が最大の Gemma 4（262,144）が、あるアラビア語テキストに 347 トークンを使い、語彙 248,044 の Qwen3.8 27B は 316 トークンでした。

### vocab\_size とトークナイザーファイルの値が合わないのはなぜですか？

モデルの設定では、埋め込みテーブルをきりのよい数にパディングし、特殊トークン用の ID を予約することがよくあります。Qwen3.8 27B のパディング後のサイズは 248,320 ですが、tokenizer.json が使う ID は 0 から 248,076 まで（ID は 0 から始まる）で、合計 248,077 個です。

### モデルの語彙サイズはどこで確認できますか？

モデルの config.json の vocab\_size を見るか、tokenizer.json を読み込んでエントリ数を数えます。設定値はパディングされていることが多いので、実際に使われているトークンの正確な数はトークナイザーファイルでわかります。

## 関連項目

-   [トークナイザー（tokenizer）](https://broadrouter.com/ja/glossary/tokenizer/)（用語）
-   [バイトペアエンコーディング（BPE）](https://broadrouter.com/ja/glossary/bpe/)（用語）
-   [トークン（token）](https://broadrouter.com/ja/glossary/token/)（用語）
-   [コンテキストウィンドウ（context window）](https://broadrouter.com/ja/glossary/context-window/)（用語）
-   [アラビア語と英語の 1 語あたりのトークン数：アラビア語が高くつく理由](https://broadrouter.com/ja/blog/tokens-per-word-arabic-english/)（記事）
-   [アラビア語向け LLM API の選び方：何をテストすべきか](https://broadrouter.com/ja/blog/choosing-an-llm-for-arabic/)（記事）

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-vocabulary-size&utm_content=page-cta) ·

**出典**

-   [Hugging Face Transformers、トークン化アルゴリズム（語彙サイズ = 基本記号 + マージ数）](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging Face モデルカード、google/gemma-4-26B-A4B-it（262K の語彙）](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Hugging Face モデルカード、Qwen/Qwen3.8-27B（パディング後の埋め込みサイズ 248,320）](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging Face モデルリポジトリ、zai-org/GLM-5.3（GLM の tokenizer.json の出典）](https://huggingface.co/zai-org/GLM-5.3)
