BroadRouter

Vocabulary size (vocab size)

Na-update

Ang vocabulary size ay ang bilang ng magkakaibang token sa tokenizer ng isang language model, bawat isa may sariling ID at embedding. Kayang i-encode ng mas malaking vocabulary ang karaniwang text sa mas kaunting token, pero pinalalaki nito ang embedding at output layer, at nakakatulong lang ito sa text na pinag-trainan ng vocabulary.

Tinatawag ding: vocab size, vocab_size, vocabulary size, tokenizer vocabulary, token vocabulary, laki ng vocabulary ng tokenizer

Sinasabi ng vocabulary size kung ilang magkakaibang piraso ng text ang kayang katawanin ng model gamit ang iisang token.

Paano ito gumagana

Ang vocabulary ng isang BPE tokenizer ay ang mga base symbol nito kasama ang bawat merge na natutunan nito. Ginagamit ng dokumentasyon ng Hugging Face ang orihinal na GPT bilang halimbawa: 478 base token + 40,000 merge = 40,478. Pinipili ng gumagawa ang target na laki bago mag-training.

Binasa namin ang mga vocabulary mula sa naka-pin na tokenizer.json ng bawat model sa Hugging Face noong 2026-11-14:

Tokenizer Mga entry sa vocabulary Kabuuang ID kasama ang special tokens
DeepSeek V4.1 Flash 128,000 129,280
GLM 5.3 154,820 154,856
Qwen3.8 27B 248,044 248,077
Gemma 4 26B A4B (base ng Google) 262,144 262,144
OpenAI o200k_base (sanggunian) 199,998 200,019

Nakasaad sa model card ng Gemma 4 ang 262K na vocabulary, na tugma. Nakalista sa card ng Qwen3.8 ang embedding size na 248,320 na “padded”, mas malaki kaysa sa 248,077 ID na talagang ginagamit.

Bakit ito mahalaga

Para sa gumagamit ng API, hindi direktang palatandaan ng gastos kada salita ang vocabulary size. Ang mahalaga ay kung anong text ang pinag-trainan ng mga merge. Ikumpara ang token kada 100 salita para sa parehong 39,037 na salita ng Modern Standard Arabic sa aming tokenizer dataset:

  • DeepSeek V4.1 Flash, 128,000 entry: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 154,820 entry: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 248,044 entry: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 262,144 entry: 79,120 / 39,037 x 100 = 202.7

Mas marami ang entry ng GLM 5.3 kaysa sa DeepSeek pero mas maraming token ang nagagamit nito sa text na ito. Ang Gemma ang may pinakamaraming entry pero hindi ito ang pinakasiksik. Para sa English prose, nasa pagitan ng 127 at 132 token kada 100 salita ang lahat ng lima, kaya halos walang epekto doon ang vocabulary size.

Ang patakaran: sukatin ang sarili mong text gamit ang tokenizer ng model sa halip na hulaan ang gastos mula sa numero ng vocabulary.

Sa BroadNet Inference

Hindi naglalathala ang BroadNet ng mga vocabulary size; galing sa mga public model repo ang mga numero sa itaas. Base tokenizer ng Google ang ginamit sa row ng Gemma, na ipinapalagay naming pinanatili ng Gemma 4 VL 26B build ng BroadNet. Para makita ang epekto sa sarili mong mga prompt, gamitin ang token counter, at para sa pagpili ng model sa Arabic, basahin ang pagpili ng LLM para sa Arabic kasabay ng pag-aaral sa token kada salita.

Mga tanong

Ibig bang sabihin ng mas malaking vocabulary ay mas kaunting token?

Madalas, pero hindi palagi. Sa test namin noong 2026-11-14, ang Gemma 4 ang may pinakamalaking vocabulary (262,144) pero gumamit ng 347 token para sa isang Arabic na text na na-encode ng Qwen3.8 27B, na may 248,044 entry, sa 316.

Bakit hindi magkatugma ang vocab_size at ang tokenizer file?

Madalas pina-pad ng mga model config ang embedding table sa isang round number at nagrereserba ng ID para sa special tokens. Nakalista sa Qwen3.8 27B ang padded size na 248,320, samantalang ID 0 hanggang 248,076 ang ginagamit ng tokenizer.json nito (nagsisimula sa 0 ang ID), kaya 248,077 lahat.

Saan makikita ang vocabulary size ng isang model?

Sa config.json ng model bilang vocab_size, o sa pag-load ng tokenizer.json nito at pagbilang ng mga entry. Madalas naka-pad ang value sa config, kaya ang tokenizer file ang nagbibigay ng eksaktong bilang ng mga token na ginagamit.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity