---
title: "Tokens zählen vor dem Senden: Schätzung, Puffer, Sprachen"
description: "Prompt-Tokens je Sprache und Modell vor dem API-Aufruf schätzen: warum Tokenizer abweichen, Messwerte in fünf Sprachen und sichere Puffer für max_tokens."
url: https://broadrouter.com/de/blog/count-tokens-before-sending/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/blog/count-tokens-before-sending/) (aktualisiert am 2026-11-16).

# Tokens zählen, bevor Sie eine LLM-Anfrage senden

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht 2026-11-14 · Aktualisiert 2026-11-16

Zählen Sie Tokens mit dem Tokenizer des Modells, das Sie aufrufen, sofern er öffentlich ist. Andernfalls kalibrieren Sie ein Verhältnis Zeichen pro Token aus dem usage-Feld echter Anfragen, getrennt nach Sprache und Inhaltstyp. Rechnen Sie 10 bis 20 Prozent Puffer hinzu und prüfen Sie, ob Prompt-Tokens plus max\_tokens ins Kontextfenster passen, mit Platz für Reasoning-Tokens bei Thinking-Modellen.

## Das Wichtigste in Kürze

-   Tokenizer unterscheiden sich je Modell. Derselbe arabische Satz ergab in unserem Test 102 Tokens mit cl100k\_base, 46 mit o200k\_base und 48 bis 58 mit den Tokenizern der offenen Modelle.
-   Englischer Fließtext lag in diesem kurzen Test bei jedem Tokenizer bei etwa 4,5 Zeichen pro Token; Code, JSON und die meisten nicht-lateinischen Schriften brauchen mehr Tokens pro Zeichen.
-   Ist der Tokenizer eines Modells nicht öffentlich, kalibrieren Sie: Beispiele senden, usage.prompt\_tokens lesen und ein Verhältnis pro Sprache und Inhaltstyp speichern.
-   Das Kontextfenster umfasst Prompt plus Ausgabe. Planen Sie Prompt + max\_tokens + Puffer ein, nie nur den Prompt.
-   Bei Reasoning-Modellen zählt das Thinking zu max\_tokens; BroadNet empfiehlt mindestens 1.000 oder reasoning\_effort low.

**Auf dieser Seite**

1.  Warum unterscheiden sich Token-Zahlen zwischen Modellen?
2.  Wie zählen Sie Tokens exakt?
3.  Wie schätzen Sie Tokens, wenn der Tokenizer nicht öffentlich ist?
4.  Welche Puffer sollten Sie für max\_tokens und Kontext einplanen?
5.  Was geht bei Token-Schätzungen schief?
6.  Wo BroadNet Inference ins Bild passt

Sie brauchen die [Token](https://broadrouter.com/de/glossary/token/)\-Zahl vor dem Senden einer Anfrage aus drei Gründen: um im [Kontextfenster](https://broadrouter.com/de/glossary/context-window/) zu bleiben, um ein sinnvolles [max\_tokens](https://broadrouter.com/de/glossary/max-tokens/) zu wählen und um die Kosten zu schätzen. Exakte Zahlen liefert nur der Tokenizer des Modells selbst. Gute Schätzungen liefert eine Kalibrierung. Dieser Beitrag zeigt beides, mit echten Messwerten.

## Warum unterscheiden sich Token-Zahlen zwischen Modellen?

Ein Tokenizer zerlegt Text in Stücke aus einem festen Vokabular. Jede Modellfamilie trainiert ihr eigenes. Ein größeres Vokabular, oder eines, das mit mehr Text einer bestimmten Sprache trainiert wurde, erzeugt für diese Sprache weniger Tokens. Die Frage „Wie viele Tokens hat dieser Prompt?“ hat also für jedes Modell eine andere Antwort.

Wir haben dieselbe kurze Kundenservice-Nachricht gemessen, übersetzt in vier Sprachen, dazu eine kleine Python-Funktion und ein Rechnungsobjekt in JSON. Die OpenAI-Zahlen stammen von [tiktoken](https://github.com/openai/tiktoken) (`cl100k_base` aus der GPT-4-Ära und `o200k_base` aus der GPT-4o-Ära). Die Zahlen der offenen Modelle stammen aus den Tokenizer-Dateien, die jede Familie auf Hugging Face veröffentlicht, gezählt ohne Chat-Template, am 14. November 2026.

| Text (gleiche Bedeutung) | Zeichen | cl100k\_base | o200k\_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| Englisch, 31 Wörter | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| Spanisch | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Arabisch | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Chinesisch | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Python-Funktion | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| Rechnungs-JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |

Eine Stichprobe pro Zeile: Verstehen Sie die Zahlen als Illustration, nicht als Benchmark. Drei Lehren gelten trotzdem. Die Tokenizer-Generation zählt: Der arabische Text schrumpfte von `cl100k_base` zu `o200k_base` auf weniger als die Hälfte. Auch offene Modelle unterscheiden sich untereinander: Derselbe arabische Text lag zwischen 48 und 58 Tokens, das JSON zwischen 60 und 72. Und strukturierte Inhalte sind überall token-dicht: Das JSON kam bei jedem Tokenizer auf etwa 2 Zeichen pro Token.

Mit dem kostenlosen [Token-Zähler](https://broadrouter.com/tools/token-counter/) können Sie das mit Ihrem eigenen Text wiederholen, ebenso mit den Zählern für [DeepSeek](https://broadrouter.com/tools/deepseek-token-counter/), [Qwen](https://broadrouter.com/tools/qwen-token-counter/) und [GPT](https://broadrouter.com/tools/gpt-token-counter/). Was eine Änderung am Prompt einspart, sehen Sie, wenn Sie beide Versionen im [Prompt-Token-Diff](https://broadrouter.com/tools/prompt-token-diff/) vergleichen. Warum gerade Arabisch mehr Tokens kostet, gemessen an längeren Texten, behandelt der Beitrag [Tokens pro Wort: Arabisch vs. Englisch](https://broadrouter.com/de/blog/tokens-per-word-arabic-english/).

## Wie zählen Sie Tokens exakt?

Ist der Tokenizer des Modells öffentlich, laden Sie ihn und zählen lokal. Für OpenAI-Modelle:

```python
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
```

Bei Open-Weight-Familien liegt der Tokenizer meist zusammen mit dem Modell auf Hugging Face und lässt sich mit `AutoTokenizer.from_pretrained(...)` laden. Zwei Einschränkungen: Das Chat-Template fügt Tokens für Rollen und Trennzeichen hinzu, und die bei einem API-Anbieter bereitgestellte Version kann von den öffentlichen Dateien abweichen. Die API-Referenz von BroadNet dokumentiert weder einen Endpoint zum Zählen von Tokens noch den Tokenizer je Modell. Der öffentliche Tokenizer liefert also eine gute Schätzung, und die exakte Zahl ist `usage.prompt_tokens` nach dem Aufruf.

## Wie schätzen Sie Tokens, wenn der Tokenizer nicht öffentlich ist?

Kalibrieren Sie einmal pro Modell und schätzen Sie danach lokal:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead
```

Nehmen Sie 20 oder mehr echte Beispiele pro Inhaltstyp (Ihre tatsächlichen Prompts, kein Lorem ipsum). Die Basisanfrage mit einem einzigen Wort entfernt den festen Overhead des Chat-Templates, den `estimate` als `overhead` wieder hinzurechnet; setzen Sie ihn auf Ihre gemessene Basis. Kalibrieren Sie nur dann mit dem günstigsten Modell von BroadNet, wenn Sie genau dieses aufrufen werden: Verhältnisse von [Gemma 4 VL 26B](https://broadrouter.com/de/models/gemma-4-vl-26b/) lassen sich nicht auf [DeepSeek V4.1 Flash](https://broadrouter.com/de/models/deepseek-v4.1-flash/) übertragen. Bilder werden ebenfalls als Input-Tokens abgerechnet, und größere Bilder verbrauchen mehr. Kalibrieren Sie sie daher separat nach Auflösung.

## Welche Puffer sollten Sie für max\_tokens und Kontext einplanen?

Das Fenster umfasst Prompt **und** Ausgabe. Bei Reasoning-Modellen enthält die Ausgabe das verborgene Thinking, ausgewiesen als [Reasoning-Tokens](https://broadrouter.com/de/glossary/reasoning-tokens/). Planen Sie so:

1.  **Prompt-Schätzung** = kalibrierte Zahl × 1,15 (15 Prozent Sicherheitspuffer).
2.  **Antwort-Budget** = die längste Antwort, die Sie akzeptieren.
3.  **Reasoning-Budget** = bei Thinking-Modellen mindestens 1.000 Tokens; die Doku von BroadNet empfiehlt mindestens 1.000 oder `reasoning_effort: "low"`, weil ein zu kleines Limit eine leere Antwort liefern kann.
4.  **max\_tokens** = Antwort-Budget + Reasoning-Budget.
5.  **Prüfung**: Prompt-Schätzung + max\_tokens ≤ Kontextfenster. Wenn nicht, kürzen Sie den Prompt, nicht die Antwort.

Kontextfenster bei BroadNet Inference, laut veröffentlichter Preisdatei:

| Modell | Kontextfenster | Praktische Prompt-Obergrenze bei 16K Ausgabe und 15 % Puffer |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 1.048.576 | etwa 897.000 |
| [GLM 5.3](https://broadrouter.com/de/models/glm-5.3/) | 1.048.576 | etwa 897.000 |
| [Qwen3.8 27B](https://broadrouter.com/de/models/qwen3.8-27b/) | 262.144 | etwa 213.000 |
| Gemma 4 VL 26B | 32.768 | etwa 14.000 |

Die Spalte mit der Obergrenze ist (Fenster − 16.384) ÷ 1,15, abgerundet. Ersetzen Sie 16.384 durch Ihr eigenes max\_tokens.

## Was geht bei Token-Schätzungen schief?

-   **Wörter statt Tokens zählen.** Die Regel von 0,75 Wörtern pro Token gilt für Englisch. Unser arabisches Beispiel mit 29 Wörtern ergab je nach Tokenizer 46 bis 102 Tokens.
-   **Tools und System-Prompt vergessen.** Tool-Schemas sind JSON, und JSON ist token-dicht. Zählen Sie sie zum Prompt.
-   **Stilles Abschneiden voraussetzen.** Manche Tools verwerfen alte Nachrichten, ohne Bescheid zu geben. BroadNet gibt an, Ihren Kontext nicht zu kürzen. Prüfen Sie die Größe also vor dem Senden, statt sich darauf zu verlassen, dass der Server kürzt. Der [Kontextfenster-Rechner](https://broadrouter.com/tools/context-window-calculator/) übernimmt die Prüfung für Sie.
-   **Wachsenden Verlauf ignorieren.** In einem Chat oder einer Agent-Schleife wächst der Prompt mit jedem Zug. Prüfen Sie das Budget bei jedem Aufruf neu, nicht einmal pro Session. Ein stabiler Verlauf wird außerdem besser gecacht; siehe [Prompt-Struktur für Caching](https://broadrouter.com/de/blog/prompt-structure-for-caching/).

Wenn Sie auf Arabisch arbeiten, ist der Tokenizer ein weiterer Grund, Modelle mit Ihrem eigenen Text zu testen; [ein LLM für Arabisch auswählen](https://broadrouter.com/de/blog/choosing-an-llm-for-arabic/) behandelt den Rest. Wie Sie aus Token-Zahlen eine Monatsrechnung machen, zeigt [LLM-API-Kosten vor dem Launch schätzen](https://broadrouter.com/de/blog/estimate-llm-api-cost-before-launch/).

## Wo BroadNet Inference ins Bild passt

BroadNet Inference gibt in jeder Antwort `prompt_tokens`, `completion_tokens` und, wenn das Modell sie meldet, die Zahl der gecachten und der Reasoning-Tokens zurück. Mehr brauchen Sie zum Kalibrieren nicht. Einen Endpoint zum Zählen oder Tokenizer je Modell veröffentlicht BroadNet nicht, Zahlen vor dem Senden sind also Schätzungen. Arbeit mit langem Kontext auf den Modellen mit 1M Tokens behandelt der [Leitfaden zum Kontextfenster](https://broadrouter.com/de/blog/million-token-context-window-guide/), und die Preise pro 1M Tokens stehen auf der [Preisseite](https://broadrouter.com/de/pricing/).

Kostenlose Tools zum Thema (auf Englisch)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Kostenlose Tools (auf Englisch)](https://broadrouter.com/tools/)

## Begriffe in diesem Artikel

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Tokenizer](https://broadrouter.com/de/glossary/tokenizer/)

Ein Tokenizer ist die Komponente, die Text in die Folge ganzzahliger Token-IDs umwandelt, die ein Sprachmodell liest, und erzeugte IDs wieder in Text zurückverwandelt. Jedes Modell bringt seinen eigenen Tokenizer mit, daher kann derselbe Text bei verschiedenen Modellen unterschiedlich viele Tokens ergeben.

[Kontextfenster (Context Window)](https://broadrouter.com/de/glossary/context-window/)

Das Kontextfenster ist die maximale Anzahl an Tokens, mit der ein Sprachmodell in einer einzelnen Anfrage arbeiten kann. Es umfasst Prompt, Gesprächsverlauf, Tool-Definitionen, Bilder und den erzeugten Output einschließlich Reasoning-Tokens. Was nicht hineinpasst, muss gekürzt, zusammengefasst oder auf mehrere Anfragen verteilt werden.

[max\_tokens](https://broadrouter.com/de/glossary/max-tokens/)

max\_tokens ist ein Parameter von LLM-APIs, der festlegt, wie viele Tokens ein Modell in einer Antwort höchstens erzeugen darf. Erreicht die Generierung das Limit, bricht sie ab, und die Antwort wird als abgeschnitten markiert, zum Beispiel mit finish\_reason „length“.

[Chat-Template](https://broadrouter.com/de/glossary/chat-template/)

Ein Chat-Template ist die Formatierungsregel, meist in Jinja geschrieben und mit dem Tokenizer eines Modells ausgeliefert, die eine Liste von Chat-Nachrichten mit Rollen in die eine Tokenfolge umwandelt, die das Modell erwartet, einschließlich seiner speziellen Steuer-Tokens. Ein falsches Template kann die Antworten eines Modells deutlich verschlechtern.

[Reasoning-Tokens](https://broadrouter.com/de/glossary/reasoning-tokens/)

Reasoning-Tokens sind Tokens, die ein Reasoning-Modell erzeugt, um ein Problem durchzuarbeiten, bevor es seine sichtbare Antwort schreibt. Sie werden meist als Output-Tokens berechnet, zählen zum Output-Limit und zum Kontextfenster und können von der API verborgen oder zusammengefasst werden.

[Input- und Output-Tokens](https://broadrouter.com/de/glossary/input-and-output-tokens/)

Input-Tokens sind die Tokens, die ein Sprachmodell in einer Anfrage liest, einschließlich System-Prompt, Gesprächsverlauf, Tool-Definitionen und Bildern. Output-Tokens sind die Tokens, die es als Antwort erzeugt, einschließlich Reasoning. LLM-APIs berechnen beide meist getrennt, und Output ist in der Regel teurer.

## Häufige Fragen

### Wie viele Tokens hat ein Wort?

Im Tokenizer-Datensatz von BroadRouter, der fünf Tokenizer zusammenfasst (die der vier Chat-Modelle von BroadNet und o200k\_base von OpenAI; die Beispieltabelle im Beitrag ergänzt cl100k\_base), entsprechen 1.000 englische Wörter etwa 1,290 Tokens, also etwa 1.29 Tokens pro Wort. Die gängige Faustregel von 0,75 Wörtern pro Token passt für englischen Fließtext recht gut. Arabisch, andere nicht-lateinische Schriften und Code brauchen mehr Tokens pro Wort. Messen Sie Ihren eigenen Text mit dem Modell, das Sie aufrufen.

### Kann ich mit tiktoken Tokens für DeepSeek, Qwen oder Gemma zählen?

Nur als grobe Schätzung. tiktoken implementiert die Encodings von OpenAI. Andere Modellfamilien liefern eigene Tokenizer, oft auf Hugging Face, und die Zahlen weichen ab. Kalibrieren Sie gegen das usage-Feld.

### Gibt es ein kostenloses Tool, um Tokens für DeepSeek, Qwen, GLM oder Gemma zu zählen?

Ja. Der kostenlose Token-Zähler von BroadRouter führt die veröffentlichten Tokenizer dieser Modellfamilien in Ihrem Browser aus, sodass der Text Ihren Rechner nicht verlässt. Betrachten Sie das Ergebnis als Schätzung dessen, was die API melden wird, denn Chat-Templates fügen einige Tokens hinzu.

### Was passiert, wenn mein Prompt länger ist als das Kontextfenster?

Die meisten APIs geben einen Fehler zurück. Manche Tools kürzen alte Nachrichten stillschweigend. BroadNet kürzt Ihren Kontext nicht, prüfen Sie also Prompt plus max\_tokens vor dem Senden gegen das Fenster.

### Wie viel Puffer sollte ich für max\_tokens lassen?

Schätzen Sie die längste Antwort, die Sie erwarten, addieren Sie bei Thinking-Modellen das Reasoning-Budget und halten Sie 10 bis 20 Prozent des Fensters für Schätzfehler frei.

## Weiterlesen

-   [Tokens pro Wort, Arabisch vs. Englisch: Warum Arabisch mehr kostet](https://broadrouter.com/de/blog/tokens-per-word-arabic-english/)
-   [Wann sich ein Kontextfenster mit 1M Tokens lohnt (und wann nicht)](https://broadrouter.com/de/blog/million-token-context-window-guide/)
-   [LLM-API-Kosten vor dem Launch eines Features schätzen](https://broadrouter.com/de/blog/estimate-llm-api-cost-before-launch/)
-   [Prompts so strukturieren, dass das Präfix gecacht wird](https://broadrouter.com/de/blog/prompt-structure-for-caching/)
-   [Prompt-Tokens reduzieren: gemessene Effekte bei Prompts, Tools, Daten](https://broadrouter.com/de/blog/reduce-prompt-tokens/)
-   [GPU-Hardware und Serving von BroadNet, wie BroadNet sie beschreibt](https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM-Antworten cachen, Kosten senken: ein Exact-Match-Cache in Python](https://broadrouter.com/de/blog/cache-llm-responses-cut-cost/)
-   [Anleitung: Warum ein Reasoning-Modell eine leere Antwort liefert](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/)
-   [Anleitung: OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-count-tokens-before-sending&utm_content=page-cta) ·

**Quellen**

-   [tiktoken-README, Encodings und etwa 4 Bytes pro Token (abgerufen am 2026-11-14)](https://github.com/openai/tiktoken)
-   [API-Referenz von BroadNet Inference, max\_tokens und Reasoning (abgerufen am 2026-11-14) (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-count-tokens-before-sending&utm_content=sources)
-   [Maschinenlesbare Preise und Kontextlängen von BroadNet Inference (pricing.json, abgerufen am 2026-11-14) (auf Englisch)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-count-tokens-before-sending&utm_content=sources)
-   [Hugging Face Transformers, Tokenizer-Dokumentation (abgerufen am 2026-11-14)](https://huggingface.co/docs/transformers/main_classes/tokenizer)
