---
title: "Что такое размер словаря токенизатора LLM? | BroadRouter"
description: "Размер словаря — сколько разных токенов знает модель. Замеры для DeepSeek, GLM, Qwen и Gemma и почему больший словарь не всегда означает меньше токенов."
url: https://broadrouter.com/ru/glossary/vocabulary-size/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/vocabulary-size/) (обновлён 2026-11-16).

# Размер словаря (vocabulary size)

Обновлено 2026-11-16

Размер словаря — это число различных токенов в токенизаторе языковой модели, у каждого из которых свой ID и свой эмбеддинг. Больший словарь может кодировать распространённый текст меньшим числом токенов, но увеличивает слои эмбеддингов и выхода и помогает только для текста, на котором словарь обучали.

Также называют: размер словаря, словарь токенизатора, размер словаря LLM, словарь токенов, vocabulary size, vocab size, vocab\_size, tokenizer vocabulary, token vocabulary

Размер словаря показывает, сколько разных фрагментов текста модель может представить одним [токеном](https://broadrouter.com/ru/glossary/token/).

## Как это работает

Словарь [BPE](https://broadrouter.com/ru/glossary/bpe/)\-токенизатора — это его базовые символы плюс все выученные слияния. Документация Hugging Face приводит в пример оригинальную GPT: 478 базовых токенов + 40 000 слияний = 40 478. Целевой размер выбирают до обучения.

Мы прочитали словари из зафиксированных файлов `tokenizer.json` каждой модели на Hugging Face 2026-11-14:

| Токенизатор | Записей в словаре | Всего ID, включая специальные токены |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 128 000 | 129 280 |
| GLM 5.3 | 154 820 | 154 856 |
| Qwen3.8 27B | 248 044 | 248 077 |
| Gemma 4 26B A4B (базовая модель Google) | 262 144 | 262 144 |
| OpenAI o200k\_base (для сравнения) | 199 998 | 200 019 |

Карточка модели Gemma 4 указывает словарь 262K, и это совпадает. Карточка Qwen3.8 указывает размер эмбеддинга 248 320 “padded” (перевод: «с паддингом»), больше, чем 248 077 реально используемых ID.

## Почему это важно

Для пользователя API размер словаря — лишь косвенный намёк на стоимость слова. Важно, на каком тексте обучали слияния. Сравните число токенов на 100 слов для одного и того же текста на современном стандартном арабском (слов: 39,037) из нашего [датасета по токенизаторам](https://broadrouter.com/data/tokenizer-efficiency/):

-   DeepSeek V4.1 Flash, 128 000 записей: 86,690 / 39,037 × 100 = 222.1
-   GLM 5.3, 154 820 записей: 95,230 / 39,037 × 100 = 243.9
-   Qwen3.8 27B, 248 044 записи: 71,424 / 39,037 × 100 = 183.0
-   Gemma 4, 262 144 записи: 79,120 / 39,037 × 100 = 202.7

У GLM 5.3 записей больше, чем у DeepSeek, но на этом тексте она тратит больше токенов. У Gemma записей больше всех, но она не самая компактная. Для английской прозы все пять дают от 127 до 132 токенов на 100 слов, так что там размер словаря почти ни на что не влияет.

Правило: измеряйте свой текст [токенизатором](https://broadrouter.com/ru/glossary/tokenizer/) модели, а не выводите стоимость из размера словаря.

## В BroadNet Inference

BroadNet не публикует размеры словарей; цифры выше взяты из публичных репозиториев моделей. Строка Gemma основана на базовом токенизаторе Google, который, как мы предполагаем, сохраняется в сборке BroadNet Gemma 4 VL 26B. Чтобы увидеть эффект на своих промптах, используйте [счётчик токенов](https://broadrouter.com/tools/token-counter/), а для выбора модели под арабский прочитайте [выбор LLM для арабского](https://broadrouter.com/ru/blog/choosing-an-llm-for-arabic/) вместе с [исследованием числа токенов на слово](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/).

## Вопросы и ответы

### Больший словарь значит меньше токенов?

Часто, но не всегда. В нашем тесте от 2026-11-14 у Gemma 4 самый большой словарь (262 144), но на арабский текст она потратила 347 токенов, а Qwen3.8 27B со словарём в 248 044 записи закодировала его в 316.

### Почему vocab\_size не совпадает с файлом токенизатора?

В конфигах моделей таблицу эмбеддингов часто дополняют до круглого числа и резервируют ID под специальные токены. У Qwen3.8 27B указан размер с паддингом 248 320, а её tokenizer.json использует ID от 0 до 248 076 (нумерация начинается с 0), то есть всего 248 077.

### Где узнать размер словаря модели?

В config.json модели, в поле vocab\_size, или загрузив её tokenizer.json и посчитав записи. Значение в конфиге часто дополнено, поэтому точное число используемых токенов даёт файл токенизатора.

## См. также

-   [Токенизатор (tokenizer)](https://broadrouter.com/ru/glossary/tokenizer/) (термин)
-   [Кодирование пар байтов (byte pair encoding, BPE)](https://broadrouter.com/ru/glossary/bpe/) (термин)
-   [Токен (token)](https://broadrouter.com/ru/glossary/token/) (термин)
-   [Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/) (термин)
-   [Токены на слово: арабский и английский — почему арабский дороже](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/) (статья)
-   [Как выбрать LLM API для арабского: что проверить](https://broadrouter.com/ru/blog/choosing-an-llm-for-arabic/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-vocabulary-size&utm_content=page-cta) ·

**Источники**

-   [Hugging Face Transformers, алгоритмы токенизации (размер словаря как базовые символы плюс слияния)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Карточка модели на Hugging Face, google/gemma-4-26B-A4B-it (словарь 262K)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Карточка модели на Hugging Face, Qwen/Qwen3.8-27B (эмбеддинг с паддингом до 248 320)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Репозиторий модели на Hugging Face, zai-org/GLM-5.3 (источник tokenizer.json для GLM)](https://huggingface.co/zai-org/GLM-5.3)
