Le byte pair encoding est la recette derrière la plupart des tokenizers de LLM : apprendre quels morceaux de texte apparaissent souvent ensemble, et donner à chaque morceau fréquent son propre token.
Comment ça marche
Sennrich, Haddow et Birch (2015) ont appliqué le BPE, à l’origine une méthode de compression, à la traduction. Leur idée : les noms propres, les mots composés et les mots rares peuvent se construire à partir d’unités plus petites, si bien qu’un modèle n’a pas besoin d’une entrée de dictionnaire pour chaque mot.
L’entraînement d’un vocabulaire BPE suit une boucle simple, détaillée pas à pas dans la documentation de Hugging Face :
- Compter la fréquence des mots dans un corpus d’entraînement, par exemple
hug10,pug5,pun12,bun4,hugs5. - Partir des caractères isolés :
b g h n p s u. - Trouver la paire adjacente la plus fréquente.
u+gapparaît 20 fois : on ajouteug. - Recommencer.
u+n(16 fois) devientun. - S’arrêter à la taille de vocabulaire cible, qui égale le nombre de symboles de base plus le nombre de fusions.
Pour encoder un nouveau texte, le tokenizer applique les fusions apprises dans le même ordre. L’encodage est déterministe : le même texte donne toujours les mêmes tokens.
Le BPE au niveau octet part des 256 valeurs d’octet au lieu des caractères. Toute chaîne possible devient alors encodable. Le vocabulaire de GPT-2 comptait 256 octets + 50 000 fusions + 1 token de fin de texte = 50 257.
Pourquoi c’est important
Le BPE explique plusieurs choses visibles sur une facture d’API :
- Les mots anglais courants font un seul token, parce que leurs paires ont été fusionnées tôt.
- Les mots rares, les fautes de frappe et les écritures non latines se découpent en plus de tokens. En UTF-8, une lettre arabe occupe 2 octets : un tokenizer au niveau octet qui a appris peu de fusions arabes dépense donc plus de tokens par mot.
- Les décomptes varient selon le modèle. Chaque modèle apprend ses propres fusions sur ses propres données.
Notre mesure du 2026-11-14 montre l’effet. Le même chat en dialecte du Golfe de 117 mots faisait 276 tokens sur GLM 5.3 et 229 sur Qwen3.8 27B. Soit 276 / 117 x 100 = 235,9 contre 229 / 117 x 100 = 195,7 tokens pour 100 mots. La traduction anglaise de ce chat coûtait 202 et 208 tokens, presque autant.
Sur BroadNet Inference
Sur BroadNet, vous ne choisissez pas de tokenizer ; chaque modèle utilise le sien. Comparez les décomptes pour votre vrai texte dans le compteur de tokens arabe avant de choisir un modèle pour du trafic en arabe, et lisez les tokens par mot en arabe et en anglais pour le tableau complet. N’oubliez pas que c’est le nombre de tokens, et non de mots, qui fixe le prix.