BroadRouter
Commencer

Byte pair encoding (BPE)

Mis à jour

Le byte pair encoding (BPE) est un algorithme de tokenisation en sous-mots qui part de caractères ou d’octets isolés et fusionne de façon répétée la paire adjacente la plus fréquente en une nouvelle entrée de vocabulaire, jusqu’à atteindre une taille de vocabulaire cible. La plupart des tokenizers de LLM actuels utilisent le BPE ou une variante au niveau octet.

Aussi appelé : BPE, byte pair encoding, codage par paires d’octets, BPE au niveau octet, tokenisation BPE, byte-pair encoding, byte-level BPE, BPE tokenization

Le byte pair encoding est la recette derrière la plupart des tokenizers de LLM : apprendre quels morceaux de texte apparaissent souvent ensemble, et donner à chaque morceau fréquent son propre token.

Comment ça marche

Sennrich, Haddow et Birch (2015) ont appliqué le BPE, à l’origine une méthode de compression, à la traduction. Leur idée : les noms propres, les mots composés et les mots rares peuvent se construire à partir d’unités plus petites, si bien qu’un modèle n’a pas besoin d’une entrée de dictionnaire pour chaque mot.

L’entraînement d’un vocabulaire BPE suit une boucle simple, détaillée pas à pas dans la documentation de Hugging Face :

  1. Compter la fréquence des mots dans un corpus d’entraînement, par exemple hug 10, pug 5, pun 12, bun 4, hugs 5.
  2. Partir des caractères isolés : b g h n p s u.
  3. Trouver la paire adjacente la plus fréquente. u + g apparaît 20 fois : on ajoute ug.
  4. Recommencer. u + n (16 fois) devient un.
  5. S’arrêter à la taille de vocabulaire cible, qui égale le nombre de symboles de base plus le nombre de fusions.

Pour encoder un nouveau texte, le tokenizer applique les fusions apprises dans le même ordre. L’encodage est déterministe : le même texte donne toujours les mêmes tokens.

Le BPE au niveau octet part des 256 valeurs d’octet au lieu des caractères. Toute chaîne possible devient alors encodable. Le vocabulaire de GPT-2 comptait 256 octets + 50 000 fusions + 1 token de fin de texte = 50 257.

Pourquoi c’est important

Le BPE explique plusieurs choses visibles sur une facture d’API :

  • Les mots anglais courants font un seul token, parce que leurs paires ont été fusionnées tôt.
  • Les mots rares, les fautes de frappe et les écritures non latines se découpent en plus de tokens. En UTF-8, une lettre arabe occupe 2 octets : un tokenizer au niveau octet qui a appris peu de fusions arabes dépense donc plus de tokens par mot.
  • Les décomptes varient selon le modèle. Chaque modèle apprend ses propres fusions sur ses propres données.

Notre mesure du 2026-11-14 montre l’effet. Le même chat en dialecte du Golfe de 117 mots faisait 276 tokens sur GLM 5.3 et 229 sur Qwen3.8 27B. Soit 276 / 117 x 100 = 235,9 contre 229 / 117 x 100 = 195,7 tokens pour 100 mots. La traduction anglaise de ce chat coûtait 202 et 208 tokens, presque autant.

Sur BroadNet Inference

Sur BroadNet, vous ne choisissez pas de tokenizer ; chaque modèle utilise le sien. Comparez les décomptes pour votre vrai texte dans le compteur de tokens arabe avant de choisir un modèle pour du trafic en arabe, et lisez les tokens par mot en arabe et en anglais pour le tableau complet. N’oubliez pas que c’est le nombre de tokens, et non de mots, qui fixe le prix.

Questions fréquentes

Qui a inventé le BPE pour les modèles de langage ?

Le BPE est né comme algorithme de compression de données. Sennrich, Haddow et Birch l’ont adapté en 2015 pour découper les mots rares en unités de sous-mots en traduction automatique neuronale, et les tokenizers de LLM sont issus de ces travaux.

Qu’est-ce que le BPE au niveau octet ?

Un tokenizer BPE dont le vocabulaire de base est constitué des 256 valeurs d’octet possibles plutôt que de caractères : tout texte, dans n’importe quelle écriture, peut ainsi être encodé sans token inconnu. GPT-2 l’utilisait avec 50 257 entrées.

Pourquoi le BPE produit-il plus de tokens pour l’arabe que pour l’anglais ?

Les fusions sont apprises sur les données d’entraînement. Si un tokenizer a vu moins d’arabe, moins de paires arabes ont été fusionnées, et les mots arabes se découpent en plus de morceaux.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity