Vocabulary size memberi tahu berapa banyak potongan teks berbeda yang bisa direpresentasikan model dengan satu token.
Cara kerjanya
Kosakata tokenizer BPE terdiri atas simbol dasarnya ditambah setiap merge yang dipelajarinya. Dokumentasi Hugging Face memberi contoh GPT generasi pertama: 478 token dasar + 40.000 merge = 40.478. Pembuat tokenizer memilih ukuran target sebelum pelatihan.
Kami membaca kosakata dari tokenizer.json yang di-pin untuk setiap model di Hugging Face pada 2026-11-14:
| Tokenizer | Entri kosakata | Total ID termasuk token khusus |
|---|---|---|
| DeepSeek V4.1 Flash | 128.000 | 129.280 |
| GLM 5.3 | 154.820 | 154.856 |
| Qwen3.8 27B | 248.044 | 248.077 |
| Gemma 4 26B A4B (basis Google) | 262.144 | 262.144 |
| OpenAI o200k_base (referensi) | 199.998 | 200.019 |
Model card Gemma 4 menyebut kosakata 262K, dan itu cocok. Model card Qwen3.8 mencantumkan ukuran embedding 248.320 “padded” (terjemahan: dengan padding), lebih besar dari 248.077 ID yang benar-benar dipakai.
Mengapa penting
Bagi pengguna API, vocabulary size adalah petunjuk tidak langsung tentang biaya per kata. Yang menentukan adalah teks apa yang dipakai melatih merge-nya. Bandingkan token per 100 kata untuk 39,037 kata Bahasa Arab Standar Modern yang sama di dataset tokenizer kami:
- DeepSeek V4.1 Flash, 128.000 entri: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 154.820 entri: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 248.044 entri: 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 262.144 entri: 79,120 / 39,037 x 100 = 202.7
GLM 5.3 punya lebih banyak entri daripada DeepSeek, tetapi memakai lebih banyak token pada teks ini. Gemma punya entri terbanyak, tetapi bukan yang paling ringkas. Untuk prosa bahasa Inggris, kelimanya berada di antara 127 dan 132 token per 100 kata, jadi di sana vocabulary size hampir tidak berpengaruh.
Aturannya: ukur teks Anda sendiri dengan tokenizer model tersebut, alih-alih menebak biaya dari angka kosakatanya.
Di BroadNet Inference
BroadNet tidak memublikasikan vocabulary size; angka di atas berasal dari repo model publik. Baris Gemma memakai tokenizer basis Google, yang kami asumsikan tetap dipakai oleh build Gemma 4 VL 26B milik BroadNet. Untuk melihat efeknya pada prompt Anda sendiri, pakai penghitung token, dan untuk memilih model bagi bahasa Arab, baca memilih LLM untuk bahasa Arab bersama studi token per kata.