BroadRouter

Dimensione del vocabolario (vocabulary size)

Aggiornato

La dimensione del vocabolario è il numero di token distinti nel tokenizer di un modello linguistico, ognuno con il proprio ID e il proprio embedding. Un vocabolario più grande può codificare il testo comune in meno token, ma ingrandisce i livelli di embedding e di output, e aiuta solo sul testo su cui è stato addestrato.

Detto anche: dimensione del vocabolario, vocabolario del tokenizer, vocabolario dei token, numero di token del vocabolario, vocab size, vocab_size, tokenizer vocabulary, token vocabulary, vocabulary size

La dimensione del vocabolario ti dice quanti pezzi di testo diversi un modello può rappresentare con un singolo token.

Come funziona

Il vocabolario di un tokenizer BPE è formato dai simboli di base più ogni merge che ha imparato. La documentazione di Hugging Face porta come esempio il GPT originale: 478 token di base + 40.000 merge = 40.478. Chi costruisce il tokenizer sceglie la dimensione obiettivo prima dell’addestramento.

Abbiamo letto i vocabolari dal tokenizer.json fissato di ciascun modello su Hugging Face il 2026-11-14:

Tokenizer Voci del vocabolario ID totali, token speciali inclusi
DeepSeek V4.1 Flash 128.000 129.280
GLM 5.3 154.820 154.856
Qwen3.8 27B 248.044 248.077
Gemma 4 26B A4B (base di Google) 262.144 262.144
OpenAI o200k_base (riferimento) 199.998 200.019

La model card di Gemma 4 dichiara un vocabolario da 262K, e il dato coincide. La card di Qwen3.8 indica una dimensione degli embedding di 248.320 “padded” (traduzione: con padding), più grande dei 248.077 ID effettivamente usati.

Perché è importante

Per chi usa un’API, la dimensione del vocabolario è un indizio indiretto del costo per parola. Conta su quale testo sono stati addestrati i merge. Confronta i token ogni 100 parole per le stesse 39,037 parole di arabo standard moderno nel nostro dataset sui tokenizer:

  • DeepSeek V4.1 Flash, 128.000 voci: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 154.820 voci: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 248.044 voci: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 262.144 voci: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 ha più voci di DeepSeek ma usa più token su questo testo. Gemma ha più voci di tutti ma non è il più compatto. Per la prosa in inglese tutti e cinque stanno tra 127 e 132 token ogni 100 parole, quindi lì la dimensione del vocabolario conta poco.

La regola: misura il tuo testo con il tokenizer del modello invece di dedurre il costo dal numero del vocabolario.

Su BroadNet Inference

BroadNet non pubblica le dimensioni dei vocabolari; i valori sopra vengono dai repository pubblici dei modelli. La riga di Gemma usa il tokenizer base di Google, che presumiamo resti invariato nella build Gemma 4 VL 26B di BroadNet. Per vedere l’effetto sui tuoi prompt usa il contatore di token, e per scegliere un modello per l’arabo leggi come scegliere un LLM per l’arabo insieme allo studio sui token per parola.

Domande frequenti

Un vocabolario più grande significa meno token?

Spesso, ma non sempre. Nel nostro test del 2026-11-14 Gemma 4 ha il vocabolario più grande (262.144), eppure ha usato 347 token per un testo arabo che Qwen3.8 27B, con 248.044 voci, ha codificato in 316.

Perché vocab_size e il file del tokenizer non coincidono?

Le configurazioni dei modelli spesso portano la tabella degli embedding a un numero tondo con il padding e riservano ID ai token speciali. Qwen3.8 27B indica una dimensione con padding di 248.320, mentre il suo tokenizer.json usa gli ID da 0 a 248.076 (gli ID partono da 0), quindi 248.077 in tutto.

Dove trovo la dimensione del vocabolario di un modello?

Nel config.json del modello, come vocab_size, oppure caricando il suo tokenizer.json e contando le voci. Il valore del config è spesso con padding, quindi il file del tokenizer dà il numero esatto di token in uso.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity