---
title: "Vocabulary size của tokenizer LLM là gì? | BroadRouter"
description: "Vocabulary size là số token khác nhau mà model biết. Số đo thực tế cho DeepSeek, GLM, Qwen, Gemma, và vì sao từ vựng lớn hơn chưa chắc ít token hơn."
url: https://broadrouter.com/vi/glossary/vocabulary-size/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/vocabulary-size/) (cập nhật ngày 2026-11-16).

# Vocabulary size (kích thước từ vựng)

Cập nhật 2026-11-16

Vocabulary size là số token khác nhau trong tokenizer của model ngôn ngữ, mỗi token có ID và embedding riêng. Từ vựng lớn hơn có thể mã hóa văn bản thông dụng bằng ít token hơn, nhưng làm lớp embedding, lớp đầu ra to hơn, và chỉ giúp với loại văn bản đã dùng huấn luyện từ vựng.

Còn gọi là: vocabulary size là gì, kích thước từ vựng, kích thước bộ từ vựng, từ vựng tokenizer, vocabulary size, vocab size, vocab\_size, tokenizer vocabulary, token vocabulary

Vocabulary size cho biết model có thể biểu diễn bao nhiêu mẩu văn bản khác nhau bằng một [token](https://broadrouter.com/vi/glossary/token/) duy nhất.

## Cách hoạt động

Từ vựng của một tokenizer [BPE](https://broadrouter.com/vi/glossary/bpe/) gồm các ký hiệu cơ sở cộng với mọi lần merge nó học được. Tài liệu Hugging Face lấy GPT gốc làm ví dụ: 478 token cơ sở + 40.000 lần merge = 40.478. Người xây tokenizer chọn kích thước mục tiêu trước khi huấn luyện.

Chúng tôi đã đọc từ vựng từ file `tokenizer.json` đã ghim phiên bản của từng model trên Hugging Face vào ngày 2026-11-14:

| Tokenizer | Số mục từ vựng | Tổng số ID kể cả token đặc biệt |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B (bản gốc của Google) | 262,144 | 262,144 |
| OpenAI o200k\_base (tham chiếu) | 199,998 | 200,019 |

Model card Gemma 4 ghi từ vựng 262K, khớp với số trên. Card của Qwen3.8 ghi kích thước embedding 248.320 “padded” (Bản dịch: đã padding), lớn hơn 248.077 ID thực sự được dùng.

## Vì sao quan trọng

Với người dùng API, vocabulary size là một gợi ý gián tiếp về chi phí cho mỗi từ. Điều quyết định là các lần merge được huấn luyện trên loại văn bản nào. Hãy so số token trên 100 từ cho cùng 39,037 từ tiếng Ả Rập chuẩn hiện đại trong [bộ dữ liệu tokenizer](https://broadrouter.com/data/tokenizer-efficiency/) của chúng tôi:

-   DeepSeek V4.1 Flash, 128.000 mục: 86,690 / 39,037 x 100 = 222.1
-   GLM 5.3, 154.820 mục: 95,230 / 39,037 x 100 = 243.9
-   Qwen3.8 27B, 248.044 mục: 71,424 / 39,037 x 100 = 183.0
-   Gemma 4, 262.144 mục: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 có nhiều mục hơn DeepSeek nhưng dùng nhiều token hơn với văn bản này. Gemma có nhiều mục nhất nhưng không phải gọn nhất. Với văn xuôi tiếng Anh, cả năm đều nằm trong khoảng 127 đến 132 token trên 100 từ, nên vocabulary size gần như không ảnh hưởng ở đó.

Nguyên tắc: hãy đo văn bản của chính bạn bằng [tokenizer](https://broadrouter.com/vi/glossary/tokenizer/) của model thay vì suy ra chi phí từ con số từ vựng.

## Trên BroadNet Inference

BroadNet không công bố vocabulary size; các số liệu trên lấy từ repo model công khai. Hàng Gemma dùng tokenizer gốc của Google, và chúng tôi giả định bản build Gemma 4 VL 26B của BroadNet giữ nguyên tokenizer này. Để xem ảnh hưởng trên prompt của bạn, hãy dùng [công cụ đếm token](https://broadrouter.com/tools/token-counter/); để chọn model cho tiếng Ả Rập, hãy đọc [chọn LLM cho tiếng Ả Rập](https://broadrouter.com/vi/blog/choosing-an-llm-for-arabic/) cùng với [nghiên cứu token trên mỗi từ](https://broadrouter.com/vi/blog/tokens-per-word-arabic-english/).

## Câu hỏi thường gặp

### Từ vựng lớn hơn có nghĩa là ít token hơn không?

Thường là vậy, nhưng không phải lúc nào cũng thế. Trong bài test ngày 2026-11-14 của chúng tôi, Gemma 4 có từ vựng lớn nhất (262.144) nhưng dùng 347 token cho một đoạn văn tiếng Ả Rập mà Qwen3.8 27B, với 248.044 mục, mã hóa bằng 316 token.

### Vì sao vocab\_size và file tokenizer lệch nhau?

Config của model thường padding bảng embedding lên một số tròn và giữ sẵn ID cho token đặc biệt. Qwen3.8 27B ghi kích thước đã padding là 248.320, trong khi tokenizer.json dùng ID từ 0 đến 248.076 (ID bắt đầu từ 0), tức tổng cộng 248.077.

### Tìm vocabulary size của một model ở đâu?

Trong config.json của model, ở trường vocab\_size, hoặc tải tokenizer.json và đếm số mục. Giá trị trong config thường đã được padding, nên file tokenizer cho con số chính xác về số token thực sự được dùng.

## Xem thêm

-   [Tokenizer (bộ tách token)](https://broadrouter.com/vi/glossary/tokenizer/) (thuật ngữ)
-   [Byte pair encoding (BPE)](https://broadrouter.com/vi/glossary/bpe/) (thuật ngữ)
-   [Token](https://broadrouter.com/vi/glossary/token/) (thuật ngữ)
-   [Context window (cửa sổ ngữ cảnh)](https://broadrouter.com/vi/glossary/context-window/) (thuật ngữ)
-   [Số token mỗi từ: tiếng Ả Rập và tiếng Anh, vì sao tiếng Ả Rập đắt hơn](https://broadrouter.com/vi/blog/tokens-per-word-arabic-english/) (bài viết)
-   [Chọn API LLM cho tiếng Ả Rập: cần test những gì](https://broadrouter.com/vi/blog/choosing-an-llm-for-arabic/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-vocabulary-size&utm_content=page-cta) ·

**Nguồn**

-   [Hugging Face Transformers, các thuật toán tokenization (kích thước từ vựng bằng ký hiệu cơ sở cộng số lần merge)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Model card Hugging Face, google/gemma-4-26B-A4B-it (từ vựng 262K)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Model card Hugging Face, Qwen/Qwen3.8-27B (embedding được padding lên 248,320)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Repo model Hugging Face, zai-org/GLM-5.3 (nguồn của tokenizer.json GLM)](https://huggingface.co/zai-org/GLM-5.3)
