Wenn Sie ein arabisches Produkt auf einer LLM-API bauen, wird Ihre Rechnung in Tokens gezählt, nicht in Wörtern. Und dieselbe Nachricht wird auf Arabisch oft zu mehr Tokens als ihre englische Übersetzung. Das wirkt sich auf Kosten, Kontextlimits und Latenz aus. Dieser Beitrag erklärt, warum das passiert, warum „Tokens pro Wort“ eine irreführende Zahl ist und wie Sie das echte Verhältnis für Ihre eigenen Inhalte auf dem Modell messen, das Sie nutzen.
Wie viele Tokens mehr braucht Arabisch? Gemessene Zahlen
Wir haben das mit dem echten Tokenizer jedes Modells an Paralleltexten gemessen (dieselbe Bedeutung auf Englisch und Arabisch). Die vollständige Tabelle, 95-%-Intervalle und die Methode stehen im kostenlosen Datensatz zur Tokenizer-Effizienz (CSV und JSON, CC BY 4.0, Version 4, gemessen am 15.11.2026):
| Tokenizer | Arabisch ÷ Englisch, Hocharabisch (2,009 Sätze aus FLORES-200) | Arabisch ÷ Englisch, Golf-Dialekt (49 Sätze aus Tatoeba) |
|---|---|---|
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |
Englische Prosa (Wikipedia und Project Gutenberg) kam über die fünf Tokenizer auf etwa 127 bis 132 Tokens pro 100 Wörter. Die Verhältnisse für modernes Hocharabisch stammen aus denselben 2,009 Sätzen aus FLORES-200 in beiden Sprachen (formeller Nachrichten-, Reise- und Lexikontext aus englischsprachigen Wikimedia-Artikeln, professionell übersetzt). FLORES-200 enthält kein Golf-Arabisch, daher nutzt die Golf-Spalte 49 kurze Satzpaare aus Tatoeba und ist deutlich ungenauer; die Seite des Datensatzes gibt für jede Zahl ein Intervall an. Nichts davon ist Ihr Traffic. Nutzen Sie die Verhältnisse also zur Planung und messen Sie Ihre eigenen Inhalte, bevor Sie budgetieren. Der arabische Token-Zähler zählt einen eingefügten Text mit jedem Tokenizer, und Tokens in Wörter rechnet in beide Richtungen um.
Um diese Verhältnisse in Geld umzurechnen, bepreist unser Datensatz zu den realen Kosten nach Sprache 1 Mio. Zeichen jeder Sprache für jedes Modell, das wir einem gemessenen Tokenizer zuordnen konnten, über verschiedene Anbieter hinweg. Ein günstigerer Preis pro Token bedeutet nicht immer eine günstigere Rechnung für Arabisch.
Was macht ein Tokenizer?
Bevor ein Modell Text sieht, zerlegt ein Tokenizer ihn in Tokens aus einem festen Vokabular. Die meisten modernen Tokenizer nutzen Subword-Verfahren wie Byte-Pair Encoding (BPE), WordPiece oder SentencePiece, beschrieben in Hugging Faces Überblick über die Tokenizer. Häufige Zeichenfolgen aus den Trainingsdaten werden zu einzelnen Tokens; seltene Zeichenfolgen werden in kleinere Teile zerlegt, notfalls bis hinunter zu einzelnen Bytes.
Das Vokabular wird aus einem Trainingskorpus gelernt. Die Sprachen, die dieses Korpus dominieren, bekommen die effizienteste Kodierung. Jede Modellfamilie hat ihren eigenen Tokenizer, sodass Modelle von DeepSeek, Qwen, GLM und Gemma denselben arabischen Satz in recht unterschiedlich viele Tokens zerlegen können.
Warum braucht Arabisch oft mehr Tokens?
1. Ungleichgewicht in den Trainingsdaten
Viele Tokenizer wurden mit Text trainiert, in dem Englisch stark überrepräsentiert ist. Häufige englische Wörter werden zu je einem Token; viele häufige arabische Wörter werden in mehrere Teile zerlegt. Petrov et al. (2023) haben das über viele Tokenizer und Sprachen gemessen und große Unterschiede darin gefunden, wie viele Tokens derselbe Inhalt braucht, wobei Englisch typischerweise zu den günstigsten gehört. Ahia et al. (2023) kamen für kommerzielle APIs zu einem ähnlichen Schluss und wiesen auf die direkte Auswirkung darauf hin, was Sprecher verschiedener Sprachen bezahlen.
2. Arabische Morphologie
Arabisch hängt Konjunktionen, Präpositionen, den Artikel und Pronomen direkt an Wörter an. Ein geschriebenes Wort kann tragen, was das Englische auf mehrere verteilt:
| Arabisch | Ungefähr auf Englisch |
|---|---|
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |
Ein Tokenizer, der eine bestimmte Kombination nicht oft genug gesehen hat, zerlegt sie häufig in Teile. Das erhöht die Tokens pro Wort, auch wenn die Tokens pro Bedeutung vertretbar sind.
3. Details der Schrift
Diakritika (Taschkil), Tatweel (das Dehnungszeichen), verschiedene Formen von Alef und Hamza sowie arabisch-indische Ziffern sind alles zusätzliche Zeichen oder Varianten, die der Tokenizer kodieren muss. Gemischter arabischer und lateinischer Text sowie Arabizi (Arabisch in lateinischen Buchstaben mit Ziffern) können ebenfalls unerwartet zerfallen. Siehe wie LLMs mit Arabizi umgehen.
Warum sind Tokens pro Wort die falsche Kennzahl?
Weil ein arabisches Wort oft mehreren englischen Wörtern entspricht, sind „Arabisch braucht N Tokens pro Wort“ und „Englisch braucht M Tokens pro Wort“ nicht vergleichbar. Die fairere Frage lautet: Wie viele Tokens braucht derselbe Inhalt in jeder Sprache? Nutzen Sie Paralleltext, also dieselbe Nachricht in beiden Sprachen, und vergleichen Sie die Gesamtzahl der Tokens. Dieses Verhältnis verändert Ihre Rechnung.
Die oft zitierte Faustregel von OpenAI, etwa vier Zeichen oder drei Viertel eines Worts pro Token, gilt für Englisch auf OpenAIs eigenen Tokenizern. Sie lässt sich nicht auf Arabisch oder andere Modellfamilien übertragen; verwenden Sie sie also nicht für Budgets auf Arabisch.
Wie messen Sie Ihr eigenes Verhältnis?
Das Usage-Feld ist die verbindliche Grundlage: Danach werden Sie abgerechnet. Dieses Skript sendet Paralleltexte an ein Modell und liest usage.prompt_tokens. Es zieht eine Basislinie ab, damit der feste Overhead des Chat-Templates kurze Texte nicht verzerrt. Es nutzt Gemma 4 VL 26B, das mit dem kostenlosen Startguthaben funktioniert und kein Reasoning betreibt; setzen Sie das Modell ein, das Sie tatsächlich nutzen werden.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"
def prompt_tokens(text):
r = client.chat.completions.create(
model=MODEL, max_tokens=1,
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
baseline = prompt_tokens(".")
pairs = [
("Your order has shipped and will arrive on Thursday.",
"تم شحن طلبك وسيصل يوم الخميس."),
("Please send a photo of the invoice so we can check the total.",
"يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]
en_total = ar_total = 0
for en, ar in pairs:
en_t = prompt_tokens(en) - baseline
ar_t = prompt_tokens(ar) - baseline
en_total += en_t; ar_total += ar_t
print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")
print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
So bekommen Sie eine Zahl, der Sie trauen können:
- Verwenden Sie 50–200 echte Paare aus Ihrem eigenen Bereich: Supportnachrichten, Produktbeschreibungen, Rechnungen. Kurze Demosätze sind verrauscht.
- Verwenden Sie den Dialekt, in dem Ihre Nutzer schreiben. Golf-, ägyptischer und levantinischer Text kann anders tokenisiert werden als modernes Hocharabisch.
- Lassen Sie es pro Modell laufen. Ein auf einem Modell gemessenes Verhältnis sagt wenig über ein anderes aus. Wenn Sie zwischen Modellen wählen, lassen Sie dieselben Paare auf jedem laufen; ein LLM für Arabisch auswählen behandelt die Qualität, die genauso zählt wie die Token-Anzahl.
- Messen Sie auch die Ausgabe. Bitten Sie jedes Modell, auf Arabisch und auf Englisch zu antworten, und vergleichen Sie
completion_tokens. Output kostet bei jedem Modell mehr pro Token als Input, daher kann das Output-Verhältnis wichtiger sein.
Ist der Tokenizer des Modells veröffentlicht (zum Beispiel auf Hugging Face), können Sie Tokens auch offline mit diesem Tokenizer zählen. Das Usage-Feld der API bleibt trotzdem maßgeblich, weil es das Chat-Template enthält, das der Server anwendet.
Die Ergebnisse lesen
Wenn Sie ein Verhältnis pro Modell haben, sind drei Muster häufig:
- Nahe 1. Der Tokenizer kommt gut mit Ihrem Arabisch zurecht. Arabischer und englischer Traffic kosten für denselben Inhalt etwa gleich viel.
- Deutlich über 1. Arabisch kostet mehr pro Nachricht. Planen Sie das in Prognosen und Kontextlimits ein und prüfen Sie, ob ein anderes Modell Ihr Arabisch bei ähnlicher Qualität effizienter verarbeitet.
- Stark schwankend über Ihre Proben. Meist ein Zeichen für gemischte Inhalte: Text mit Diakritika, Arabizi, Zahlen, URLs oder Code in arabischen Nachrichten. Teilen Sie Ihre Proben nach Art auf und messen Sie jede getrennt.
Behalten Sie das Skript und lassen Sie es erneut laufen, wenn Sie Modelle wechseln oder ein Anbieter eine Modellversion aktualisiert, denn ein neuer Tokenizer verändert jede Zählung.
Was bedeutet das für Kosten und Kontext?
Die Kosten skalieren mit den Tokens, ein höheres Verhältnis für Arabisch erhöht die Rechnung für den arabischen Teil Ihres Traffics also um denselben Faktor. Bei den Preisen von BroadNet kostet arabischer Input auf Qwen3.8 27B $0.175 pro 1 Mio. Tokens und Output $2.17; auf Gemma 4 VL 26B $0.10 und $0.22. Der Preis pro Token ist in jeder Sprache gleich; nur die Token-Anzahl ändert sich. Setzen Sie Ihr gemessenes Verhältnis in die Methode für die Monatskosten ein.
Kontextlimits schrumpfen auf dieselbe Weise. Gemma 4 VL 26B akzeptiert 32.768 Tokens pro Anfrage; ein langes arabisches Dokument füllt das früher als seine englische Übersetzung. DeepSeek V4.1 Flash und GLM 5.3 akzeptieren 1.048.576.
Wie können Sie die Token-Anzahl auf Arabisch senken?
- Einheitlich normalisieren. Entfernen Sie Tatweel, und entfernen Sie Diakritika, wenn Ihre Aufgabe sie nicht braucht. Wenden Sie dieselbe Normalisierung auf jede Anfrage an, damit das Caching weiter funktioniert.
- Anweisungen kurz halten. Ein langer System-Prompt wird bei jedem Turn erneut gesendet; knappe Formulierungen sparen in beiden Sprachen Tokens.
- Das stabile Präfix cachen. Bei Modellen mit Cache-Preis kosten wiederholte System-Prompts und Dokumente weit weniger. So funktioniert Caching.
- Um knappe Antworten bitten. „Antworte in zwei Sätzen“ spart mehr als jeder Tokenizer-Trick.
Für arabische Sprache statt Text wird die Transkription pro Audiominute abgerechnet, nicht pro Token; die Tokenisierung wirkt sich auf diesen Teil der Rechnung also nicht aus. Siehe den Ratgeber für arabisches Speech-to-Text.
