BroadRouter

Saiz perbendaharaan kata (vocabulary size)

Dikemas kini

Saiz perbendaharaan kata ialah bilangan token berbeza dalam tokenizer model bahasa, setiap satu dengan ID dan embeddingnya sendiri. Perbendaharaan kata yang lebih besar boleh mengekod teks biasa dalam lebih sedikit token, tetapi ia membesarkan lapisan embedding dan output, dan hanya membantu untuk teks yang digunakan untuk melatihnya.

Juga dikenali sebagai: vocabulary size, vocab size, vocab_size, saiz vocab, perbendaharaan kata tokenizer, tokenizer vocabulary, token vocabulary

Saiz perbendaharaan kata memberitahu anda berapa banyak cebisan teks berbeza yang boleh diwakili model dengan satu token.

Cara ia berfungsi

Perbendaharaan kata tokenizer BPE ialah simbol asasnya ditambah setiap merge yang dipelajarinya. Dokumentasi Hugging Face memberi GPT asal sebagai contoh: 478 token asas + 40,000 merge = 40,478. Pembina memilih saiz sasaran sebelum latihan.

Kami membaca perbendaharaan kata daripada tokenizer.json yang disematkan bagi setiap model di Hugging Face pada 2026-11-14:

Tokenizer Entri perbendaharaan kata Jumlah ID termasuk token khas
DeepSeek V4.1 Flash 128,000 129,280
GLM 5.3 154,820 154,856
Qwen3.8 27B 248,044 248,077
Gemma 4 26B A4B (asas Google) 262,144 262,144
OpenAI o200k_base (rujukan) 199,998 200,019

Kad model Gemma 4 menyatakan perbendaharaan kata 262K, yang sepadan. Kad Qwen3.8 menyenaraikan saiz embedding 248,320 “padded” (berpad), lebih besar daripada 248,077 ID yang sebenarnya digunakan.

Mengapa ia penting

Bagi pengguna API, saiz perbendaharaan kata ialah petunjuk tidak langsung tentang kos setiap perkataan. Yang penting ialah teks apa yang digunakan untuk melatih merge itu. Bandingkan token setiap 100 perkataan untuk 39,037 perkataan Bahasa Arab Standard Moden yang sama dalam set data tokenizer kami:

  • DeepSeek V4.1 Flash, 128,000 entri: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 154,820 entri: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 248,044 entri: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 262,144 entri: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 mempunyai lebih banyak entri daripada DeepSeek tetapi menggunakan lebih banyak token pada teks ini. Gemma mempunyai entri paling banyak tetapi bukan yang paling padat. Untuk prosa bahasa Inggeris, kesemua lima berada antara 127 dan 132 token setiap 100 perkataan, jadi saiz perbendaharaan kata hampir tidak memberi kesan di situ.

Peraturannya: ukur teks anda sendiri dengan tokenizer model, jangan meneka kos daripada nombor perbendaharaan kata.

Di BroadNet Inference

BroadNet tidak menerbitkan saiz perbendaharaan kata; angka di atas datang daripada repo model awam. Baris Gemma menggunakan tokenizer asas Google, yang kami andaikan dikekalkan oleh binaan Gemma 4 VL 26B BroadNet. Untuk melihat kesannya pada prompt anda sendiri, gunakan pembilang token, dan untuk memilih model bagi bahasa Arab baca memilih LLM untuk bahasa Arab bersama kajian token setiap perkataan.

Soalan lazim

Adakah perbendaharaan kata yang lebih besar bermakna kurang token?

Selalunya, tetapi tidak sentiasa. Dalam ujian kami pada 2026-11-14, Gemma 4 mempunyai perbendaharaan kata terbesar (262,144) tetapi menggunakan 347 token untuk teks bahasa Arab yang dikodkan oleh Qwen3.8 27B, dengan 248,044 entri, dalam 316.

Mengapa vocab_size dan fail tokenizer tidak sepadan?

Konfigurasi model kerap mengepad jadual embedding kepada nombor bulat dan menyimpan ID untuk token khas. Qwen3.8 27B menyenaraikan saiz berpad 248,320, manakala tokenizer.json-nya menggunakan ID 0 hingga 248,076 (ID bermula pada 0), jadi 248,077 kesemuanya.

Di mana saya boleh cari saiz perbendaharaan kata sesuatu model?

Dalam config.json model sebagai vocab_size, atau dengan memuatkan tokenizer.json-nya dan mengira entri. Nilai dalam config selalunya berpad, jadi fail tokenizer memberi kiraan tepat token yang digunakan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity