BroadRouter

Sözlük boyutu (vocabulary size)

Güncellendi

Sözlük boyutu (vocabulary size), bir dil modelinin tokenizer'ındaki, her birinin kendi kimliği (ID) ve embedding'i olan farklı token'ların sayısıdır. Daha büyük bir sözlük yaygın metni daha az token'la kodlayabilir, ancak embedding ve çıktı katmanlarını büyütür ve yalnızca sözlüğün eğitildiği türden metinde işe yarar.

Diğer adları: sözlük boyutu, kelime dağarcığı boyutu, tokenizer sözlüğü, token sözlüğü, vocab boyutu, vocabulary size, vocab size, vocab_size, tokenizer vocabulary, token vocabulary

Sözlük boyutu, bir modelin kaç farklı metin parçasını tek bir token ile temsil edebildiğini söyler.

Nasıl çalışır

Bir BPE tokenizer’ının sözlüğü, taban sembolleri artı öğrendiği her birleştirmedir. Hugging Face belgeleri örnek olarak ilk GPT’yi verir: 478 taban token + 40.000 birleştirme = 40.478. Hedef boyutu, tokenizer’ı oluşturan kişi eğitimden önce seçer.

Sözlükleri 2026-11-14 tarihinde, her modelin Hugging Face’teki sabitlenmiş tokenizer.json dosyasından okuduk:

Tokenizer Sözlük girdisi Özel token’lar dahil toplam kimlik
DeepSeek V4.1 Flash 128.000 129.280
GLM 5.3 154.820 154.856
Qwen3.8 27B 248.044 248.077
Gemma 4 26B A4B (Google tabanı) 262.144 262.144
OpenAI o200k_base (referans) 199.998 200.019

Gemma 4 model kartı 262K’lık bir sözlük belirtiyor; bu, ölçümle örtüşüyor. Qwen3.8 kartı 248.320 boyutunda, “padded” (çeviri: dolgulu) bir embedding listeliyor; bu da fiilen kullanılan 248.077 kimlikten büyük.

Neden önemli

Bir API kullanıcısı için sözlük boyutu, kelime başına maliyete dair dolaylı bir ipucudur. Asıl önemli olan, birleştirmelerin hangi metin üzerinde eğitildiğidir. Tokenizer veri setimizdeki aynı 39,037 kelimelik Modern Standart Arapça metin için 100 kelime başına token sayılarını karşılaştırın:

  • DeepSeek V4.1 Flash, 128.000 girdi: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 154.820 girdi: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 248.044 girdi: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 262.144 girdi: 79,120 / 39,037 x 100 = 202.7

GLM 5.3’ün DeepSeek’ten daha fazla girdisi var ama bu metinde daha fazla token kullanıyor. Gemma en çok girdiye sahip ama en kompakt olan değil. İngilizce düzyazıda beşi de 100 kelime başına 127 ile 132 token arasında kalıyor; yani orada sözlük boyutunun neredeyse hiç önemi yok.

Kural şu: maliyeti sözlük sayısından çıkarmaya çalışmak yerine kendi metninizi modelin tokenizer’ıyla ölçün.

BroadNet Inference’ta

BroadNet sözlük boyutlarını yayımlamıyor; yukarıdaki rakamlar herkese açık model depolarından geliyor. Gemma satırı Google’ın taban tokenizer’ını kullanıyor; BroadNet’in Gemma 4 VL 26B derlemesinin bunu koruduğunu varsayıyoruz. Etkiyi kendi istemlerinizde görmek için token sayacını kullanın; Arapça için model seçiminde Arapça için LLM seçimi yazısını kelime başına token çalışmasıyla birlikte okuyun.

Sık sorulan sorular

Daha büyük sözlük daha az token demek mi?

Çoğu zaman, ama her zaman değil. 2026-11-14 tarihli testimizde en büyük sözlük Gemma 4'teydi (262.144), yine de 248.044 girdili Qwen3.8 27B'nin 316 token'la kodladığı bir Arapça metin için 347 token kullandı.

vocab_size ile tokenizer dosyası neden uyuşmuyor?

Model yapılandırmaları embedding tablosunu çoğu zaman yuvarlak bir sayıya kadar doldurur (padding) ve özel token'lar için kimlik ayırır. Qwen3.8 27B dolgulu boyut olarak 248.320 listeler; tokenizer.json dosyası ise 0'dan 248.076'ya kadar kimlikleri kullanır (kimlikler 0'dan başlar), yani toplam 248.077.

Bir modelin sözlük boyutunu nerede bulurum?

Modelin config.json dosyasında vocab_size olarak ya da tokenizer.json dosyasını yükleyip girdileri sayarak. Yapılandırmadaki değer çoğu zaman dolguludur; kullanılan token'ların tam sayısını tokenizer dosyası verir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor