BroadRouter

Vokabulargröße (vocabulary size)

Aktualisiert

Die Vokabulargröße ist die Zahl der unterschiedlichen Tokens im Tokenizer eines Sprachmodells, jedes mit eigener ID und eigenem Embedding. Ein größeres Vokabular kann gängigen Text mit weniger Tokens codieren, vergrößert aber die Embedding- und Ausgabeschichten und hilft nur bei Text, auf dem das Vokabular trainiert wurde.

Auch genannt: Vokabulargröße, Tokenizer-Vokabular, Token-Vokabular, Größe des Vokabulars, vocab size, vocab_size, tokenizer vocabulary, token vocabulary

Die Vokabulargröße sagt Ihnen, wie viele verschiedene Textstücke ein Modell mit einem einzigen Token darstellen kann.

So funktioniert es

Das Vokabular eines BPE-Tokenizers besteht aus seinen Basissymbolen plus jedem gelernten Merge. Die Dokumentation von Hugging Face nennt das ursprüngliche GPT als Beispiel: 478 Basis-Tokens + 40.000 Merges = 40.478. Wer den Tokenizer baut, legt die Zielgröße vor dem Training fest.

Wir haben die Vokabulare am 2026-11-14 aus der fest versionierten tokenizer.json jedes Modells auf Hugging Face ausgelesen:

Tokenizer Vokabulareinträge IDs insgesamt inkl. Spezial-Tokens
DeepSeek V4.1 Flash 128.000 129.280
GLM 5.3 154.820 154.856
Qwen3.8 27B 248.044 248.077
Gemma 4 26B A4B (Google-Basis) 262.144 262.144
OpenAI o200k_base (Referenz) 199.998 200.019

Die Modellkarte von Gemma 4 nennt ein Vokabular von 262K, was übereinstimmt. Die Karte von Qwen3.8 führt eine Embedding-Größe von 248.320 als „padded“ (Übersetzung: „aufgefüllt“), größer als die 248.077 tatsächlich genutzten IDs.

Warum es wichtig ist

Für API-Nutzer ist die Vokabulargröße nur ein indirekter Hinweis auf die Kosten pro Wort. Entscheidend ist, auf welchem Text die Merges trainiert wurden. Vergleichen Sie die Tokens pro 100 Wörter für dieselben 39,037 Wörter in modernem Hocharabisch in unserem Tokenizer-Datensatz:

  • DeepSeek V4.1 Flash, 128.000 Einträge: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 154.820 Einträge: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 248.044 Einträge: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 262.144 Einträge: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 hat mehr Einträge als DeepSeek, braucht für diesen Text aber mehr Tokens. Gemma hat die meisten Einträge, ist aber nicht am kompaktesten. Bei englischer Prosa liegen alle fünf zwischen 127 und 132 Tokens pro 100 Wörter, dort spielt die Vokabulargröße also kaum eine Rolle.

Die Regel: Messen Sie Ihren eigenen Text mit dem Tokenizer des Modells, statt die Kosten aus der Vokabularzahl abzuleiten.

Bei BroadNet Inference

BroadNet veröffentlicht keine Vokabulargrößen; die Zahlen oben stammen aus den öffentlichen Modell-Repos. Die Gemma-Zeile nutzt den Basis-Tokenizer von Google, den nach unserer Annahme auch der Build Gemma 4 VL 26B von BroadNet beibehält. Um die Wirkung auf Ihre eigenen Prompts zu sehen, nutzen Sie den Token-Zähler, und für die Modellwahl bei Arabisch lesen Sie ein LLM für Arabisch wählen zusammen mit der Studie zu Tokens pro Wort.

Häufige Fragen

Bedeutet ein größeres Vokabular weniger Tokens?

Oft, aber nicht immer. In unserem Test vom 2026-11-14 hat Gemma 4 das größte Vokabular (262.144), brauchte aber 347 Tokens für einen arabischen Text, den Qwen3.8 27B mit 248.044 Einträgen in 316 codierte.

Warum stimmen vocab_size und die Tokenizer-Datei nicht überein?

Modellkonfigurationen füllen die Embedding-Tabelle oft auf eine runde Zahl auf und reservieren IDs für Spezial-Tokens. Qwen3.8 27B nennt eine aufgefüllte Größe von 248.320, während seine tokenizer.json die IDs 0 bis 248.076 nutzt (IDs beginnen bei 0), insgesamt also 248.077.

Wo finde ich die Vokabulargröße eines Modells?

In der config.json des Modells als vocab_size oder indem Sie seine tokenizer.json laden und die Einträge zählen. Der Wert in der Konfiguration ist oft aufgefüllt, die Tokenizer-Datei liefert daher die genaue Zahl der genutzten Tokens.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen