バイトペアエンコーディングは、ほとんどの LLM のトークナイザーを支えるレシピです。よく一緒に現れるテキストの断片を学習し、頻出する断片にそれぞれ専用のトークンを割り当てます。
しくみ
Sennrich、Haddow、Birch(2015)は、もとは圧縮の手法だった BPE を翻訳に応用しました。彼らの主張は、人名、複合語、まれな単語はより小さな単位から組み立てられるので、モデルがすべての単語の辞書項目を持つ必要はない、というものです。
BPE の語彙の学習は単純なループで、Hugging Face のドキュメントが手順を追って示しています。
- 学習コーパスで単語の頻度を数えます。たとえば
hug10、pug5、pun12、bun4、hugs5。 - 1 文字ずつから始めます:
b g h n p s u。 - 最も頻繁に隣り合うペアを探します。
u+gが 20 回現れるので、ugを追加します。 - これを繰り返します。
u+n(16 回)がunになります。 - 目標の語彙サイズに達したら止めます。語彙サイズは、基本記号の数に結合の回数を足したものです。
新しいテキストをエンコードするときは、学習した結合を同じ順序で適用します。エンコードは決定的で、同じテキストからは常に同じトークンが得られます。
バイトレベル BPE は、文字ではなく 256 通りのバイト値から始めます。そのため、どんな文字列でもエンコードできます。GPT-2 の語彙は、256 バイト + 50,000 回の結合 + 1 個のテキスト終端トークン = 50,257 でした。
なぜ重要か
BPE を知ると、API の請求書に表れるいくつかの現象が説明できます。
- よく使われる英単語は 1 トークンになります。 そのペアが早い段階で結合されたからです。
- まれな単語、タイプミス、ラテン文字以外の文字体系は、より多くのトークンに分かれます。 UTF-8 ではアラビア文字 1 文字が 2 バイトなので、アラビア語の結合をあまり学習していないバイトレベルのトークナイザーは、1 単語あたりにより多くのトークンを使います。
- トークン数はモデルによって違います。 各モデルは、自分のデータから独自の結合を学習しています。
私たちが 2026-11-14 に行った測定でも、この影響が見られました。117 語の同じ湾岸方言のチャットが、GLM 5.3 では 276 トークン、Qwen3.8 27B では 229 トークンでした。100 語あたりにすると、276 / 117 x 100 = 235.9 トークンと 229 / 117 x 100 = 195.7 トークンです。同じチャットの英訳は 202 トークンと 208 トークンで、ほぼ同じでした。
BroadNet Inference の場合
BroadNet ではトークナイザーを選べません。各モデルが独自のものを使います。アラビア語のトラフィックに使うモデルを選ぶ前に、アラビア語トークンカウンターで実際のテキストのトークン数を比べてください。全体の表はアラビア語と英語の単語あたりのトークン数にあります。料金を決めるのは単語数ではなくトークン数だということを忘れないでください。