Sözlük boyutu, bir modelin kaç farklı metin parçasını tek bir token ile temsil edebildiğini söyler.
Nasıl çalışır
Bir BPE tokenizer’ının sözlüğü, taban sembolleri artı öğrendiği her birleştirmedir. Hugging Face belgeleri örnek olarak ilk GPT’yi verir: 478 taban token + 40.000 birleştirme = 40.478. Hedef boyutu, tokenizer’ı oluşturan kişi eğitimden önce seçer.
Sözlükleri 2026-11-14 tarihinde, her modelin Hugging Face’teki sabitlenmiş tokenizer.json dosyasından okuduk:
| Tokenizer | Sözlük girdisi | Özel token’lar dahil toplam kimlik |
|---|---|---|
| DeepSeek V4.1 Flash | 128.000 | 129.280 |
| GLM 5.3 | 154.820 | 154.856 |
| Qwen3.8 27B | 248.044 | 248.077 |
| Gemma 4 26B A4B (Google tabanı) | 262.144 | 262.144 |
| OpenAI o200k_base (referans) | 199.998 | 200.019 |
Gemma 4 model kartı 262K’lık bir sözlük belirtiyor; bu, ölçümle örtüşüyor. Qwen3.8 kartı 248.320 boyutunda, “padded” (çeviri: dolgulu) bir embedding listeliyor; bu da fiilen kullanılan 248.077 kimlikten büyük.
Neden önemli
Bir API kullanıcısı için sözlük boyutu, kelime başına maliyete dair dolaylı bir ipucudur. Asıl önemli olan, birleştirmelerin hangi metin üzerinde eğitildiğidir. Tokenizer veri setimizdeki aynı 39,037 kelimelik Modern Standart Arapça metin için 100 kelime başına token sayılarını karşılaştırın:
- DeepSeek V4.1 Flash, 128.000 girdi: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 154.820 girdi: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 248.044 girdi: 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 262.144 girdi: 79,120 / 39,037 x 100 = 202.7
GLM 5.3’ün DeepSeek’ten daha fazla girdisi var ama bu metinde daha fazla token kullanıyor. Gemma en çok girdiye sahip ama en kompakt olan değil. İngilizce düzyazıda beşi de 100 kelime başına 127 ile 132 token arasında kalıyor; yani orada sözlük boyutunun neredeyse hiç önemi yok.
Kural şu: maliyeti sözlük sayısından çıkarmaya çalışmak yerine kendi metninizi modelin tokenizer’ıyla ölçün.
BroadNet Inference’ta
BroadNet sözlük boyutlarını yayımlamıyor; yukarıdaki rakamlar herkese açık model depolarından geliyor. Gemma satırı Google’ın taban tokenizer’ını kullanıyor; BroadNet’in Gemma 4 VL 26B derlemesinin bunu koruduğunu varsayıyoruz. Etkiyi kendi istemlerinizde görmek için token sayacını kullanın; Arapça için model seçiminde Arapça için LLM seçimi yazısını kelime başına token çalışmasıyla birlikte okuyun.