La dimensione del vocabolario ti dice quanti pezzi di testo diversi un modello può rappresentare con un singolo token.
Come funziona
Il vocabolario di un tokenizer BPE è formato dai simboli di base più ogni merge che ha imparato. La documentazione di Hugging Face porta come esempio il GPT originale: 478 token di base + 40.000 merge = 40.478. Chi costruisce il tokenizer sceglie la dimensione obiettivo prima dell’addestramento.
Abbiamo letto i vocabolari dal tokenizer.json fissato di ciascun modello su Hugging Face il 2026-11-14:
| Tokenizer | Voci del vocabolario | ID totali, token speciali inclusi |
|---|---|---|
| DeepSeek V4.1 Flash | 128.000 | 129.280 |
| GLM 5.3 | 154.820 | 154.856 |
| Qwen3.8 27B | 248.044 | 248.077 |
| Gemma 4 26B A4B (base di Google) | 262.144 | 262.144 |
| OpenAI o200k_base (riferimento) | 199.998 | 200.019 |
La model card di Gemma 4 dichiara un vocabolario da 262K, e il dato coincide. La card di Qwen3.8 indica una dimensione degli embedding di 248.320 “padded” (traduzione: con padding), più grande dei 248.077 ID effettivamente usati.
Perché è importante
Per chi usa un’API, la dimensione del vocabolario è un indizio indiretto del costo per parola. Conta su quale testo sono stati addestrati i merge. Confronta i token ogni 100 parole per le stesse 39,037 parole di arabo standard moderno nel nostro dataset sui tokenizer:
- DeepSeek V4.1 Flash, 128.000 voci: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 154.820 voci: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 248.044 voci: 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 262.144 voci: 79,120 / 39,037 x 100 = 202.7
GLM 5.3 ha più voci di DeepSeek ma usa più token su questo testo. Gemma ha più voci di tutti ma non è il più compatto. Per la prosa in inglese tutti e cinque stanno tra 127 e 132 token ogni 100 parole, quindi lì la dimensione del vocabolario conta poco.
La regola: misura il tuo testo con il tokenizer del modello invece di dedurre il costo dal numero del vocabolario.
Su BroadNet Inference
BroadNet non pubblica le dimensioni dei vocabolari; i valori sopra vengono dai repository pubblici dei modelli. La riga di Gemma usa il tokenizer base di Google, che presumiamo resti invariato nella build Gemma 4 VL 26B di BroadNet. Per vedere l’effetto sui tuoi prompt usa il contatore di token, e per scegliere un modello per l’arabo leggi come scegliere un LLM per l’arabo insieme allo studio sui token per parola.