---
title: "BPE（バイトペアエンコーディング）とは？LLM のトークナイザー | BroadRouter"
description: "バイトペアエンコーディングは、最も頻繁に現れる記号のペアを結合していくことでトークナイザーの語彙を作ります。BPE とバイトレベル BPE のしくみと、アラビア語のトークンが多くなる理由を解説します。"
url: https://broadrouter.com/ja/glossary/bpe/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/bpe/) (2026-11-16 更新).

# バイトペアエンコーディング（BPE）

更新日 2026-11-16

バイトペアエンコーディング（BPE）とは、1 文字または 1 バイトから始め、最頻出の隣接ペアを新しい語彙項目として結合する操作を目標の語彙サイズまで繰り返すサブワード分割のアルゴリズムです。今の LLM のトークナイザーの多くは BPE かそのバイトレベル版です。

別名： バイトペアエンコーディング、バイト対符号化、BPE トークナイザー、バイトレベル BPE、サブワード分割、byte pair encoding、byte-pair encoding、byte-level BPE、BPE tokenization

バイトペアエンコーディングは、ほとんどの LLM の[トークナイザー](https://broadrouter.com/ja/glossary/tokenizer/)を支えるレシピです。よく一緒に現れるテキストの断片を学習し、頻出する断片にそれぞれ専用のトークンを割り当てます。

## しくみ

Sennrich、Haddow、Birch（2015）は、もとは圧縮の手法だった BPE を翻訳に応用しました。彼らの主張は、人名、複合語、まれな単語はより小さな単位から組み立てられるので、モデルがすべての単語の辞書項目を持つ必要はない、というものです。

BPE の語彙の学習は単純なループで、Hugging Face のドキュメントが手順を追って示しています。

1.  学習コーパスで単語の頻度を数えます。たとえば `hug` 10、`pug` 5、`pun` 12、`bun` 4、`hugs` 5。
2.  1 文字ずつから始めます：`b g h n p s u`。
3.  最も頻繁に隣り合うペアを探します。`u` + `g` が 20 回現れるので、`ug` を追加します。
4.  これを繰り返します。`u` + `n`（16 回）が `un` になります。
5.  目標の[語彙サイズ](https://broadrouter.com/ja/glossary/vocabulary-size/)に達したら止めます。語彙サイズは、基本記号の数に結合の回数を足したものです。

新しいテキストをエンコードするときは、学習した結合を同じ順序で適用します。エンコードは決定的で、同じテキストからは常に同じトークンが得られます。

**バイトレベル BPE** は、文字ではなく 256 通りのバイト値から始めます。そのため、どんな文字列でもエンコードできます。GPT-2 の語彙は、256 バイト + 50,000 回の結合 + 1 個のテキスト終端トークン = 50,257 でした。

## なぜ重要か

BPE を知ると、API の請求書に表れるいくつかの現象が説明できます。

-   **よく使われる英単語は 1 トークンになります。** そのペアが早い段階で結合されたからです。
-   **まれな単語、タイプミス、ラテン文字以外の文字体系は、より多くのトークンに分かれます。** UTF-8 ではアラビア文字 1 文字が 2 バイトなので、アラビア語の結合をあまり学習していないバイトレベルのトークナイザーは、1 単語あたりにより多くのトークンを使います。
-   **トークン数はモデルによって違います。** 各モデルは、自分のデータから独自の結合を学習しています。

私たちが 2026-11-14 に行った測定でも、この影響が見られました。117 語の同じ湾岸方言のチャットが、GLM 5.3 では 276 トークン、Qwen3.8 27B では 229 トークンでした。100 語あたりにすると、276 / 117 x 100 = 235.9 トークンと 229 / 117 x 100 = 195.7 トークンです。同じチャットの英訳は 202 トークンと 208 トークンで、ほぼ同じでした。

## BroadNet Inference の場合

BroadNet ではトークナイザーを選べません。各モデルが独自のものを使います。アラビア語のトラフィックに使うモデルを選ぶ前に、[アラビア語トークンカウンター](https://broadrouter.com/tools/arabic-token-counter/)で実際のテキストのトークン数を比べてください。全体の表は[アラビア語と英語の単語あたりのトークン数](https://broadrouter.com/ja/blog/tokens-per-word-arabic-english/)にあります。料金を決めるのは単語数ではなく[トークン](https://broadrouter.com/ja/glossary/token/)数だということを忘れないでください。

## よくある質問

### 言語モデルに BPE を使い始めたのは誰ですか？

BPE はもともとデータ圧縮のアルゴリズムでした。2015 年に Sennrich、Haddow、Birch が、ニューラル機械翻訳でまれな単語をサブワード単位に分割するために応用し、LLM のトークナイザーはその研究から発展しました。

### バイトレベル BPE とは何ですか？

文字ではなく 256 通りのバイト値を基本語彙とする BPE トークナイザーです。どんな文字体系のどんなテキストでも、未知トークンなしでエンコードできます。GPT-2 はこれを 50,257 項目で使っていました。

### BPE では、なぜアラビア語のほうが英語よりトークンが多くなるのですか？

結合は学習データから学ばれます。トークナイザーが見たアラビア語が少なければ、結合されたアラビア語のペアも少なくなり、アラビア語の単語はより多くの断片に分かれます。

## 関連項目

-   [トークナイザー（tokenizer）](https://broadrouter.com/ja/glossary/tokenizer/) (用語)
-   [語彙サイズ（vocabulary size）](https://broadrouter.com/ja/glossary/vocabulary-size/) (用語)
-   [トークン（token）](https://broadrouter.com/ja/glossary/token/) (用語)
-   [コンテキストウィンドウ（context window）](https://broadrouter.com/ja/glossary/context-window/) (用語)
-   [アラビア語と英語の 1 語あたりのトークン数：アラビア語が高くつく理由](https://broadrouter.com/ja/blog/tokens-per-word-arabic-english/) (記事)
-   [LLM リクエストを送る前にトークン数を数える方法](https://broadrouter.com/ja/blog/count-tokens-before-sending/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-bpe&utm_content=page-cta) ·

**出典**

-   [Sennrich、Haddow、Birch、Neural Machine Translation of Rare Words with Subword Units（arXiv 1508.07909）（2026-11-16 確認）](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers、トークン化のアルゴリズム（BPE とバイトレベル BPE）（2026-11-16 確認）](https://huggingface.co/docs/transformers/tokenizer_summary)
