BroadRouter

Taille du vocabulaire (vocabulary size)

Mis à jour

La taille du vocabulaire est le nombre de tokens distincts dans le tokenizer d’un modèle de langage, chacun avec son propre identifiant et son propre embedding. Un vocabulaire plus grand peut encoder le texte courant en moins de tokens, mais il alourdit les couches d’embedding et de sortie, et n’aide que pour le texte sur lequel il a été entraîné.

Aussi appelé : taille de vocabulaire, vocabulaire du tokenizer, vocabulaire de tokens, nombre de tokens du vocabulaire, vocab size, vocab_size, tokenizer vocabulary, token vocabulary

La taille du vocabulaire indique combien de morceaux de texte différents un modèle peut représenter avec un seul token.

Comment ça marche

Le vocabulaire d’un tokenizer BPE se compose de ses symboles de base plus chaque fusion (merge) apprise. La documentation de Hugging Face prend l’exemple du GPT original : 478 tokens de base + 40 000 fusions = 40 478. Le concepteur choisit la taille cible avant l’entraînement.

Nous avons lu les vocabulaires dans le tokenizer.json épinglé de chaque modèle sur Hugging Face le 2026-11-14 :

Tokenizer Entrées du vocabulaire Total des identifiants, tokens spéciaux compris
DeepSeek V4.1 Flash 128 000 129 280
GLM 5.3 154 820 154 856
Qwen3.8 27B 248 044 248 077
Gemma 4 26B A4B (base Google) 262 144 262 144
OpenAI o200k_base (référence) 199 998 200 019

La fiche de Gemma 4 annonce un vocabulaire de 262K, ce qui concorde. La fiche de Qwen3.8 indique une taille d’embedding de 248 320 « padded » (traduction : « complétée »), supérieure aux 248 077 identifiants réellement utilisés.

Pourquoi c’est important

Pour un utilisateur d’API, la taille du vocabulaire n’est qu’un indice indirect du coût par mot. Ce qui compte, c’est le texte sur lequel les fusions ont été apprises. Comparez les tokens pour 100 mots sur les mêmes 39,037 mots d’arabe standard moderne de notre jeu de données sur les tokenizers :

  • DeepSeek V4.1 Flash, 128 000 entrées : 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 154 820 entrées : 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 248 044 entrées : 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 262 144 entrées : 79,120 / 39,037 x 100 = 202.7

GLM 5.3 a plus d’entrées que DeepSeek mais utilise plus de tokens sur ce texte. Gemma a le plus d’entrées mais n’est pas le plus compact. Pour de la prose anglaise, les cinq se situent entre 127 et 132 tokens pour 100 mots : la taille du vocabulaire y compte à peine.

La règle : mesurez votre propre texte avec le tokenizer du modèle plutôt que de déduire le coût du chiffre du vocabulaire.

Sur BroadNet Inference

BroadNet ne publie pas de tailles de vocabulaire ; les chiffres ci-dessus viennent des dépôts publics des modèles. La ligne Gemma utilise le tokenizer de base de Google, que le build Gemma 4 VL 26B de BroadNet conserve selon notre hypothèse. Pour voir l’effet sur vos propres prompts, utilisez le compteur de tokens, et pour choisir un modèle en arabe, lisez choisir un LLM pour l’arabe avec l’étude sur les tokens par mot.

Questions fréquentes

Un vocabulaire plus grand donne-t-il moins de tokens ?

Souvent, mais pas toujours. Dans notre test du 2026-11-14, Gemma 4 a le plus grand vocabulaire (262 144) mais a utilisé 347 tokens pour un texte arabe que Qwen3.8 27B, avec 248 044 entrées, a encodé en 316.

Pourquoi vocab_size et le fichier du tokenizer ne concordent-ils pas ?

Les configurations de modèles complètent souvent la table d’embeddings jusqu’à un nombre rond et réservent des identifiants aux tokens spéciaux. Qwen3.8 27B indique une taille complétée de 248 320, alors que son tokenizer.json utilise les identifiants 0 à 248 076 (les identifiants commencent à 0), soit 248 077 au total.

Où trouver la taille du vocabulaire d’un modèle ?

Dans le config.json du modèle, sous vocab_size, ou en chargeant son tokenizer.json et en comptant les entrées. La valeur de la configuration est souvent complétée : le fichier du tokenizer donne le nombre exact de tokens utilisés.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity