Die Vokabulargröße sagt Ihnen, wie viele verschiedene Textstücke ein Modell mit einem einzigen Token darstellen kann.
So funktioniert es
Das Vokabular eines BPE-Tokenizers besteht aus seinen Basissymbolen plus jedem gelernten Merge. Die Dokumentation von Hugging Face nennt das ursprüngliche GPT als Beispiel: 478 Basis-Tokens + 40.000 Merges = 40.478. Wer den Tokenizer baut, legt die Zielgröße vor dem Training fest.
Wir haben die Vokabulare am 2026-11-14 aus der fest versionierten tokenizer.json jedes Modells auf Hugging Face ausgelesen:
| Tokenizer | Vokabulareinträge | IDs insgesamt inkl. Spezial-Tokens |
|---|---|---|
| DeepSeek V4.1 Flash | 128.000 | 129.280 |
| GLM 5.3 | 154.820 | 154.856 |
| Qwen3.8 27B | 248.044 | 248.077 |
| Gemma 4 26B A4B (Google-Basis) | 262.144 | 262.144 |
| OpenAI o200k_base (Referenz) | 199.998 | 200.019 |
Die Modellkarte von Gemma 4 nennt ein Vokabular von 262K, was übereinstimmt. Die Karte von Qwen3.8 führt eine Embedding-Größe von 248.320 als „padded“ (Übersetzung: „aufgefüllt“), größer als die 248.077 tatsächlich genutzten IDs.
Warum es wichtig ist
Für API-Nutzer ist die Vokabulargröße nur ein indirekter Hinweis auf die Kosten pro Wort. Entscheidend ist, auf welchem Text die Merges trainiert wurden. Vergleichen Sie die Tokens pro 100 Wörter für dieselben 39,037 Wörter in modernem Hocharabisch in unserem Tokenizer-Datensatz:
- DeepSeek V4.1 Flash, 128.000 Einträge: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 154.820 Einträge: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 248.044 Einträge: 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 262.144 Einträge: 79,120 / 39,037 x 100 = 202.7
GLM 5.3 hat mehr Einträge als DeepSeek, braucht für diesen Text aber mehr Tokens. Gemma hat die meisten Einträge, ist aber nicht am kompaktesten. Bei englischer Prosa liegen alle fünf zwischen 127 und 132 Tokens pro 100 Wörter, dort spielt die Vokabulargröße also kaum eine Rolle.
Die Regel: Messen Sie Ihren eigenen Text mit dem Tokenizer des Modells, statt die Kosten aus der Vokabularzahl abzuleiten.
Bei BroadNet Inference
BroadNet veröffentlicht keine Vokabulargrößen; die Zahlen oben stammen aus den öffentlichen Modell-Repos. Die Gemma-Zeile nutzt den Basis-Tokenizer von Google, den nach unserer Annahme auch der Build Gemma 4 VL 26B von BroadNet beibehält. Um die Wirkung auf Ihre eigenen Prompts zu sehen, nutzen Sie den Token-Zähler, und für die Modellwahl bei Arabisch lesen Sie ein LLM für Arabisch wählen zusammen mit der Studie zu Tokens pro Wort.