---
title: "Qu’est-ce que le byte pair encoding (BPE) des tokenizers ?"
description: "Le byte pair encoding construit le vocabulaire d’un tokenizer en fusionnant les paires de symboles les plus fréquentes. BPE, BPE par octets et cas de l’arabe."
url: https://broadrouter.com/fr/glossary/bpe/
lang: fr
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduit de l’anglais avec l’aide de l’IA. [Lire l’original en anglais](https://broadrouter.com/glossary/bpe/) (mis à jour le 2026-11-16).

# Byte pair encoding (BPE)

Mis à jour 2026-11-16

Le byte pair encoding (BPE) est un algorithme de tokenisation en sous-mots qui part de caractères ou d’octets isolés et fusionne de façon répétée la paire adjacente la plus fréquente en une nouvelle entrée de vocabulaire, jusqu’à atteindre une taille de vocabulaire cible. La plupart des tokenizers de LLM actuels utilisent le BPE ou une variante au niveau octet.

Aussi appelé : BPE, byte pair encoding, codage par paires d’octets, BPE au niveau octet, tokenisation BPE, byte-pair encoding, byte-level BPE, BPE tokenization

Le byte pair encoding est la recette derrière la plupart des [tokenizers](https://broadrouter.com/fr/glossary/tokenizer/) de LLM : apprendre quels morceaux de texte apparaissent souvent ensemble, et donner à chaque morceau fréquent son propre token.

## Comment ça marche

Sennrich, Haddow et Birch (2015) ont appliqué le BPE, à l’origine une méthode de compression, à la traduction. Leur idée : les noms propres, les mots composés et les mots rares peuvent se construire à partir d’unités plus petites, si bien qu’un modèle n’a pas besoin d’une entrée de dictionnaire pour chaque mot.

L’entraînement d’un vocabulaire BPE suit une boucle simple, détaillée pas à pas dans la documentation de Hugging Face :

1.  Compter la fréquence des mots dans un corpus d’entraînement, par exemple `hug` 10, `pug` 5, `pun` 12, `bun` 4, `hugs` 5.
2.  Partir des caractères isolés : `b g h n p s u`.
3.  Trouver la paire adjacente la plus fréquente. `u` + `g` apparaît 20 fois : on ajoute `ug`.
4.  Recommencer. `u` + `n` (16 fois) devient `un`.
5.  S’arrêter à la [taille de vocabulaire](https://broadrouter.com/fr/glossary/vocabulary-size/) cible, qui égale le nombre de symboles de base plus le nombre de fusions.

Pour encoder un nouveau texte, le tokenizer applique les fusions apprises dans le même ordre. L’encodage est déterministe : le même texte donne toujours les mêmes tokens.

Le **BPE au niveau octet** part des 256 valeurs d’octet au lieu des caractères. Toute chaîne possible devient alors encodable. Le vocabulaire de GPT-2 comptait 256 octets + 50 000 fusions + 1 token de fin de texte = 50 257.

## Pourquoi c’est important

Le BPE explique plusieurs choses visibles sur une facture d’API :

-   **Les mots anglais courants font un seul token**, parce que leurs paires ont été fusionnées tôt.
-   **Les mots rares, les fautes de frappe et les écritures non latines se découpent en plus de tokens.** En UTF-8, une lettre arabe occupe 2 octets : un tokenizer au niveau octet qui a appris peu de fusions arabes dépense donc plus de tokens par mot.
-   **Les décomptes varient selon le modèle.** Chaque modèle apprend ses propres fusions sur ses propres données.

Notre mesure du 2026-11-14 montre l’effet. Le même chat en dialecte du Golfe de 117 mots faisait 276 tokens sur GLM 5.3 et 229 sur Qwen3.8 27B. Soit 276 / 117 x 100 = 235,9 contre 229 / 117 x 100 = 195,7 tokens pour 100 mots. La traduction anglaise de ce chat coûtait 202 et 208 tokens, presque autant.

## Sur BroadNet Inference

Sur BroadNet, vous ne choisissez pas de tokenizer ; chaque modèle utilise le sien. Comparez les décomptes pour votre vrai texte dans le [compteur de tokens arabe](https://broadrouter.com/tools/arabic-token-counter/) avant de choisir un modèle pour du trafic en arabe, et lisez [les tokens par mot en arabe et en anglais](https://broadrouter.com/fr/blog/tokens-per-word-arabic-english/) pour le tableau complet. N’oubliez pas que c’est le nombre de [tokens](https://broadrouter.com/fr/glossary/token/), et non de mots, qui fixe le prix.

## Questions fréquentes

### Qui a inventé le BPE pour les modèles de langage ?

Le BPE est né comme algorithme de compression de données. Sennrich, Haddow et Birch l’ont adapté en 2015 pour découper les mots rares en unités de sous-mots en traduction automatique neuronale, et les tokenizers de LLM sont issus de ces travaux.

### Qu’est-ce que le BPE au niveau octet ?

Un tokenizer BPE dont le vocabulaire de base est constitué des 256 valeurs d’octet possibles plutôt que de caractères : tout texte, dans n’importe quelle écriture, peut ainsi être encodé sans token inconnu. GPT-2 l’utilisait avec 50 257 entrées.

### Pourquoi le BPE produit-il plus de tokens pour l’arabe que pour l’anglais ?

Les fusions sont apprises sur les données d’entraînement. Si un tokenizer a vu moins d’arabe, moins de paires arabes ont été fusionnées, et les mots arabes se découpent en plus de morceaux.

## Voir aussi

-   [Tokenizer (tokeniseur)](https://broadrouter.com/fr/glossary/tokenizer/) (terme)
-   [Taille du vocabulaire (vocabulary size)](https://broadrouter.com/fr/glossary/vocabulary-size/) (terme)
-   [Token](https://broadrouter.com/fr/glossary/token/) (terme)
-   [Fenêtre de contexte (context window)](https://broadrouter.com/fr/glossary/context-window/) (terme)
-   [Tokens par mot, arabe ou anglais : pourquoi l’arabe coûte plus cher](https://broadrouter.com/fr/blog/tokens-per-word-arabic-english/) (article)
-   [Compter les tokens avant d’envoyer une requête LLM](https://broadrouter.com/fr/blog/count-tokens-before-sending/) (article)

Essayez-le sur votre vraie charge de travail. Les nouveaux comptes démarrent avec USD 5 de crédit pour Gemma et transcription. DeepSeek, GLM et Qwen3.8 nécessitent une recharge.

[Commencer](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-bpe&utm_content=page-cta) ·

**Sources**

-   [Sennrich, Haddow et Birch, Neural Machine Translation of Rare Words with Subword Units (arXiv 1508.07909) (vérifié le 2026-11-16)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers, algorithmes de tokenisation (BPE et BPE au niveau octet) (vérifié le 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
