BroadRouter

Tamaño de vocabulario (vocabulary size)

Actualizado

El tamaño de vocabulario es el número de tokens distintos en el tokenizador de un modelo de lenguaje, cada uno con su propio ID y embedding. Un vocabulario más grande puede codificar texto común con menos tokens, pero agranda las capas de embedding y de salida, y solo ayuda con el texto con el que se entrenó el vocabulario.

También llamado: tamaño del vocabulario, vocabulario del tokenizador, vocabulario de tokens, número de tokens del vocabulario, vocabulary size, vocab size, vocab_size, tokenizer vocabulary, token vocabulary

El tamaño de vocabulario le dice cuántos fragmentos de texto distintos puede representar un modelo con un solo token.

Cómo funciona

El vocabulario de un tokenizador BPE son sus símbolos base más cada fusión que aprendió. La documentación de Hugging Face pone como ejemplo el GPT original: 478 tokens base + 40,000 fusiones = 40,478. Quien construye el tokenizador elige el tamaño objetivo antes del entrenamiento.

Leímos los vocabularios del tokenizer.json fijado de cada modelo en Hugging Face el 2026-11-14:

Tokenizador Entradas del vocabulario IDs totales incl. tokens especiales
DeepSeek V4.1 Flash 128,000 129,280
GLM 5.3 154,820 154,856
Qwen3.8 27B 248,044 248,077
Gemma 4 26B A4B (base de Google) 262,144 262,144
OpenAI o200k_base (referencia) 199,998 200,019

La ficha del modelo Gemma 4 indica un vocabulario de 262K, lo que coincide. La ficha de Qwen3.8 lista un tamaño de embedding de 248,320 “padded” (traducción: con relleno), mayor que los 248,077 IDs que realmente se usan.

Por qué importa

Para quien usa una API, el tamaño de vocabulario es una pista indirecta del costo por palabra. Lo que cuenta es con qué texto se entrenaron las fusiones. Compare los tokens por cada 100 palabras para las mismas 39,037 palabras de árabe estándar moderno en nuestro conjunto de datos de tokenizadores:

  • DeepSeek V4.1 Flash, 128,000 entradas: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 154,820 entradas: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 248,044 entradas: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 262,144 entradas: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 tiene más entradas que DeepSeek, pero usa más tokens con este texto. Gemma tiene la mayor cantidad de entradas, pero no es el más compacto. Para prosa en inglés, los cinco quedan entre 127 y 132 tokens por cada 100 palabras, así que ahí el tamaño de vocabulario apenas importa.

La regla: mida su propio texto con el tokenizador del modelo en lugar de deducir el costo a partir del número del vocabulario.

En BroadNet Inference

BroadNet no publica tamaños de vocabulario; las cifras anteriores vienen de los repositorios públicos de los modelos. La fila de Gemma usa el tokenizador base de Google, que suponemos que conserva la versión Gemma 4 VL 26B de BroadNet. Para ver el efecto en sus propios prompts, use el contador de tokens, y para elegir modelo en árabe lea cómo elegir un LLM para árabe junto con el estudio de tokens por palabra.

Preguntas frecuentes

¿Un vocabulario más grande significa menos tokens?

A menudo, pero no siempre. En nuestra prueba del 2026-11-14, Gemma 4 tiene el vocabulario más grande (262,144) y aun así usó 347 tokens para un texto en árabe que Qwen3.8 27B, con 248,044 entradas, codificó en 316.

¿Por qué no coinciden vocab_size y el archivo del tokenizador?

Las configuraciones de los modelos suelen rellenar la tabla de embeddings hasta un número redondo y reservar IDs para tokens especiales. Qwen3.8 27B indica un tamaño con relleno de 248,320, mientras que su tokenizer.json usa IDs de 0 a 248,076 (los IDs empiezan en 0), es decir, 248,077 en total.

¿Dónde encuentro el tamaño de vocabulario de un modelo?

En el config.json del modelo como vocab_size, o cargando su tokenizer.json y contando las entradas. El valor de la configuración suele llevar relleno, así que el archivo del tokenizador da el número exacto de tokens en uso.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity