Arabisch wird normalerweise ohne kurze Vokale geschrieben. Ein Leser ergänzt sie aus dem Kontext, Software oft nicht. Ihre Wiederherstellung, Diakritisierung oder Taschkil genannt, macht aus كتب je nach Satz كَتَبَ (er schrieb), كُتُبٌ (Bücher) oder كُتِبَ (es wurde geschrieben). Dieser Beitrag zeigt, wie das mit einem LLM über eine OpenAI-kompatible API gelingt, wie Sie verhindern, dass das Modell Ihren Text stillschweigend ändert, und wie Sie das Ergebnis mit einem spezialisierten Diakritisierer vergleichen.
Wann brauchen Sie Diakritika?
- Text-to-Speech. Eine Stimme braucht die Vokale, um ein Wort auszusprechen. Das CATT-Paper nennt Text-to-Speech und maschinelle Übersetzung als Anwendungen, die von Diakritika profitieren. BroadNet Inference hat keinen Text-to-Speech-Endpoint; in einer TTS-Pipeline geht der vokalisierte Text also an einen separaten TTS-Dienst.
- Lernende und Kindermaterial. Wer noch lesen lernt, verlässt sich auf die Zeichen.
- Mehrdeutige Namen und Begriffe. Eigennamen, seltene Wörter und Fachbegriffe, bei denen ein falscher Vokal die Bedeutung ändert.
- Religiöse und klassische Texte. Hier gehören die Zeichen zum Text, und ein automatisches Werkzeug sollte nur Lücken füllen, unter menschlicher Kontrolle.
Für Suche oder Retrieval wollen Sie meist keine Diakritika. Dort entfernen Sie sie, wie in Normalisierung arabischer Texte für die Suche. Der kostenlose Normalisierer für arabischen Text erledigt dieses Entfernen im Browser. Diakritisierung ist die Gegenoperation und viel schwieriger: Zeichen entfernen ist ein Nachschlagen, Zeichen ergänzen braucht Grammatik und Kontext.
Wie gut sind LLMs bei der Diakritisierung?
Zwei veröffentlichte Zahlen, mit Vorsicht zu lesen:
| System | CATT-Benchmark, DER mit Kasusendungen | DER ohne | WER mit Kasusendungen | WER ohne |
|---|---|---|---|---|
| CATT Encoder-Decoder | 8.624% | 6.989% | 34.191% | 28.477% |
| CATT Encoder-only | 8.762% | 7.088% | 35.508% | 29.714% |
| GPT-4 (laut Text des Papers GPT-4-turbo) | 9.515% | 8.113% | 38.311% | 33.505% |
| Command R+ | 13.169% | 11.329% | 48.518% | 44.158% |
| Shakkala | 13.494% | 10.386% | 50.387% | 40.643% |
| Mishkal | 16.482% | 10.796% | 60.844% | 40.215% |
Quelle: Tabelle 4 des CATT-Papers (2024). Niedriger ist besser. Der Benchmark besteht aus 742 Nachrichtensätzen, 2023 gesammelt, von zwei muttersprachlichen Experten vokalisiert und von einem dritten geprüft.
Auf dem zweiten Testset des Papers, WikiNews (400 Sätze), schnitt GPT-4 weit besser ab als alle anderen: 0,551 % DER. Die Autoren markieren diese Zeile und vermuten, dass das Modell WikiNews im Training gesehen haben könnte. Das ist die allgemeine Warnung bei LLM-Benchmarks: Öffentlicher Testtext kann in den Trainingsdaten stecken. Dieselbe Sorge äußern die CATT-Autoren zu Tashkeela, dessen Bücher viele Koran- und Hadith-Zitate enthalten.
Ein separates Paper von Skiredj und Berrada aus dem Jahr 2024 nennt für GPT-4 etwa 20 % DER und 30 % WER auf dem Benchmark von Fadel et al., ohne die Details, die wir für einen Vergleich mit der Tabelle oben bräuchten.
Modelle der GPT-4-Klasse können also nah an einen spezialisierten Diakritisierer herankommen, aber auch hinter ihm zurückbleiben. Beide Papers sind älter als die offenen Modelle, die Sie heute aufrufen können. Messen Sie mit Ihrem eigenen Text.
Welche Testsets gibt es?
| Datensatz | Was er ist |
|---|---|
| Tashkeela | 75.629.921 vollständig vokalisierte Wörter aus 97 Büchern; 98,85 % klassisches Arabisch aus der Shamela-Bibliothek, 1,15 % modernes Hocharabisch |
| Benchmark von Fadel et al. | Etwa 2,3 Mio. Wörter aus Tashkeela; 50.000 Trainings-, 2.500 Validierungs- und 2.500 Testzeilen |
| CATT-Benchmark | 742 von Hand vokalisierte Nachrichtensätze, veröffentlicht mit den CATT-Modellen |
| WikiNews | 400 von Hand vokalisierte MSA-Nachrichtensätze |
Tashkeela und das Fadel-Set sind überwiegend klassisch. Ist Ihr Text modernes Geschäfts- oder Nachrichtenarabisch, liegen die CATT- und WikiNews-Sets näher, und eine Stichprobe Ihres eigenen Texts am nächsten.
Welcher Prompt lässt die Buchstaben unverändert?
Die Aufgabe des Modells ist, Zeichen zu ergänzen und sonst nichts anzurühren. LLMs helfen gern, und sie korrigieren الى zu إلى, ändern ein ى am Wortende zu ي oder ergänzen ein fehlendes Hamza. Das mag jeweils korrektes Arabisch sein, ist aber eine Rechtschreibkorrektur, keine Diakritisierung. Sie ändert Ihren Text, ohne es Ihnen zu sagen.
Deshalb nennt der Prompt die Regel, und der Code setzt sie durch: Entfernen Sie die Diakritika aus der Antwort und vergleichen Sie mit der ebenso bereinigten Eingabe. Weicht ein Buchstabe, ein Leerzeichen oder ein Satzzeichen ab, wird die Antwort verworfen.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MARKS = re.compile("[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""
def skeleton(s: str) -> str:
"""The text with every diacritic removed: what the model is not allowed to change."""
return MARKS.sub("", unicodedata.normalize("NFC", s))
def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
for attempt in range(tries):
r = client.chat.completions.create(
model=model, max_tokens=4000, temperature=0,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
if skeleton(out) == skeleton(text):
return out
diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
print(f"attempt {attempt + 1}: letters changed {diff}")
return None # keep the undiacritized text; never ship a changed sentence
for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
print(diacritize(line))
Wir haben das gegen einen lokalen Mock-Server ausgeführt, nicht gegen die Live-API. Seine vorgefertigte Antwort auf den ersten Satz „korrigierte“ الى bei beiden Versuchen zu إلى, die Antwort auf den zweiten war sauber. Die Ausgabe:
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
Hinweise zum Code:
- Zuerst Unicode NFC. Ein Hamza kann als ein vorkomponiertes Zeichen (أ) ankommen oder als Buchstabe plus kombinierendes Zeichen. NFC gleicht beide Seiten vor dem Vergleich an. Der Beitrag zur Normalisierung behandelt diese Falle ausführlich.
max_tokens=4000. Laut der Dokumentation von BroadNet denken DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B vor der Antwort nach, und das Reasoning zählt zumax_tokens. Ein zu kleines Limit liefert eine leere Antwort, die die Prüfung verwirft. Lassen Sie Spielraum oder setzen Siereasoning_effortauf low; siehe leere Antworten von Reasoning-Modellen und den Rechner für das Reasoning-Token-Budget.- Die Prüfung testet „vorhandene Diakritika beibehalten“ nicht. Ist Ihre Eingabe teilweise vokalisiert, vergleichen Sie auch diese Zeichen.
- Rechtschreibung ist eine eigene Entscheidung. Wollen Sie الى korrigiert haben, führen Sie zuerst einen Korrekturschritt aus und vokalisieren dann den korrigierten Text. Wer beides vermischt, kann keines von beiden prüfen.
- Langen Text aufteilen. Senden Sie einen Satz oder Absatz pro Anfrage. CATT selbst begrenzt die Eingabe auf 1.024 Zeichen und teilt lange Sätze an Satzzeichen; dieselbe Gewohnheit hält LLM-Antworten kurz und Wiederholungen günstig.
Allgemeine Tipps zum Schreiben arabischer Prompts, auch dazu, wann Sie einem Modell sagen sollten, keine Diakritika hinzuzufügen, finden Sie unter Prompt Engineering für Arabisch.
Wie bewerten Sie Diakritisierung: DER und WER?
Die Diakritika-Fehlerrate (DER) ist der Anteil der Buchstaben, deren Diakritika von der Referenz abweichen. Die Wortfehlerrate (WER) ist hier der Anteil der Wörter mit mindestens einem falschen Diakritikum. Das ist nicht die WER der Spracherkennung aus unserem ASR-Beitrag; sie zählt Wörter mit einem falschen Zeichen, nicht eingefügte oder ausgelassene Wörter.
Zwei Einstellungen verändern die Zahlen stark:
- Mit oder ohne Kasusendungen. Der letzte Buchstabe eines Worts trägt seinen grammatischen Kasus (I’rab), der von der Syntax abhängt. Papers nennen beide Varianten, weil Kasusendungen viele der Fehler verursachen.
- Buchstaben ohne Diakritikum mitzählen. Manche Skripte zählen einen unmarkierten Buchstaben (etwa das Alif in الطالب) als korrekte Vorhersage „kein Diakritikum“, manche überspringen ihn. Das Bewertungsskript von Fadel hat dafür ein Flag.
Veröffentlichte Skripte treffen diese Entscheidungen unterschiedlich, vergleichen Sie also nur Zahlen aus demselben Skript. Dieses hier ist kurz genug zum Lesen:
import re, unicodedata
MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")
def letters(word: str) -> list[tuple[str, str]]:
"""(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
out = []
for ch in unicodedata.normalize("NFC", word):
if LETTER.match(ch):
out.append([ch, ""])
elif MARK.match(ch) and out:
out[-1][1] += ch
return [(c, "".join(sorted(d))) for c, d in out]
def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
"""DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
errs = total = werr = words = 0
for g_line, p_line in zip(gold, pred):
for g, p in zip(g_line.split(), p_line.split()):
G, P = letters(g), letters(p)
if [c for c, _ in G] != [c for c, _ in P]:
raise ValueError(f"letters differ: {g} / {p}") # score only same-skeleton output
scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
if (case_ending or i < len(G) - 1) and (count_bare or gd)]
if not scored:
continue
bad = sum(gd != pd for gd, pd in scored)
errs += bad; total += len(scored); werr += bad > 0; words += 1
return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}
gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
Die Spielzeug-Vorhersage hat zwei falsche Kasusendungen und einen falschen Binnenvokal bei 32 Buchstaben und 7 Wörtern. Sie gibt mit Kasusendungen DER 9.38 und WER 42.86 aus, ohne DER 4.0 und WER 14.29. Beachten Sie, wie WER wenige Fehler vergrößert: Ein falsches Zeichen verdirbt ein ganzes Wort.
Das Skript weigert sich, ein Wort mit geänderten Buchstaben zu bewerten. Das ist Absicht. Ein Diakritisierer, der Buchstaben bearbeitet, hat die Aufgabe verfehlt, und seine DER wäre bedeutungslos.
Als zweite Prüfung haben wir Mishkal 0.4.1, einen regelbasierten Diakritisierer, auf einen Satz mit 16 Wörtern angewendet, den wir von Hand vokalisiert hatten. Alle vier Fehler betrafen Kasusendungen, etwa مُحَمَّدُ statt مُحَمَّدٌ. Das Ergebnis: DER 5.88 mit Kasusendungen und 0.0 ohne. Ein einzelner Satz beweist nichts über Mishkal; er zeigt, warum Sie beide Varianten angeben.
Für ein Testset nehmen Sie 100 bis 200 Sätze Ihres eigenen Texts, lassen sie von einem Muttersprachler vokalisieren, entfernen die Zeichen und schicken jeden Kandidaten darüber. Die menschliche Fassung bleibt der Goldstandard.
Wann schlägt ein spezialisierter Diakritisierer ein LLM?
| Wählen Sie | Wenn |
|---|---|
| Ein spezialisiertes Modell (CATT, libtashkeel, Mishkal) | Hohes Volumen, feste Textart, strenge Latenz, Offline- oder On-Device-Einsatz oder Bedarf an konstruktionsbedingt buchstabengetreuer Ausgabe |
| Ein LLM über eine API | Geringes oder schwankendes Volumen, gemischte oder unsaubere Eingaben, ein Team ohne ML-Ops oder eine Pipeline, die ohnehin für andere Schritte ein LLM aufruft |
Spezialisierte Modelle sagen ein Zeichen pro Buchstabe vorher, sie können Ihren Text also nicht umschreiben. CATT steht unter Apache 2.0 und wird mit pip install catt-tashkeel installiert; die README empfiehlt das Encoder-only-Modell für Geschwindigkeit und das Encoder-Decoder-Modell für Genauigkeit. libtashkeel steht unter MIT und ist überwiegend auf MSA trainiert. Mishkal ist regelbasiert und steht unter der GPL, was zählt, wenn Sie es in einem Produkt ausliefern.
Ein LLM ist der schnellere Start und kommt mit Eingaben zurecht, die ein trainiertes Modell nie gesehen hat: Dialekt, gemischtes Arabisch und Englisch, ungewöhnliche Zeichensetzung. Es braucht bei jeder Antwort die Gerüstprüfung von oben, und es kostet pro Token.
Was kostet LLM-Diakritisierung?
Diakritika sind zusätzliche Zeichen, und Tokenizer zerlegen sie in zusätzliche Tokens. Wir haben das Fadel-Testset mit 2.500 Zeilen (125.098 Wörter) mit dem jeweils eigenen Tokenizer jedes Modells gezählt, unvokalisierter gegen vollständig vokalisierten Text:
| Tokenizer | Unvokalisiert | Vokalisiert | Verhältnis |
|---|---|---|---|
| Qwen3.8 27B | 196,987 | 407,144 | 2.07× |
| DeepSeek V4.1 Flash | 222,555 | 540,454 | 2.43× |
| Gemma 4 VL 26B | 208,769 | 508,758 | 2.44× |
| GLM 5.3 | 239,753 | 770,361 | 3.21× |
Sie zahlen Input-Tokens für den unvokalisierten Text und Output-Tokens für die vokalisierte Antwort, dazu etwaiges Reasoning. Output ist die teure Seite: $2.17 pro Million Tokens bei Qwen3.8 27B, $0.52 bei DeepSeek V4.1 Flash, $3.46 bei GLM 5.3 und $0.22 bei Gemma 4 VL 26B, laut der Preisseite von BroadNet. Wiederholungen nach einer fehlgeschlagenen Prüfung kommen hinzu. Fügen Sie Ihren eigenen Text in den Token-Zähler für Arabisch ein, um das Verhältnis für Ihre Daten zu prüfen, und lesen Sie Tokens pro Wort auf Arabisch und Englisch, warum Arabisch von vornherein mehr Tokens kostet.
Für einen einmaligen Job über ein großes Archiv ersetzen die DeepSeek-V4.1-Flash-Pläne den Zähler durch einen Pauschalpreis pro Session ($15 pro Woche oder $1 pro Stunde); jede Session verarbeitet jeweils eine Anfrage, planen Sie den Lauf also wie in Batch-Verarbeitung ohne Batch API.
Wo BroadNet Inference ins Bild passt
BroadRouter ist BroadNets eigene Website. BroadNet Inference stellt die vier Chat-Modelle oben über einen OpenAI-kompatiblen Endpoint bereit, der Code läuft also mit dem OpenAI Python SDK, sobald Base-URL und Schlüssel gesetzt sind. Gemma 4 VL 26B läuft mit dem Startguthaben von $5; DeepSeek, GLM und Qwen brauchen eine Aufladung. BroadNet hat keinen Diakritisierungs-Endpoint, veröffentlicht keinen eigenen Diakritisierungs-Benchmark und bietet kein Text-to-Speech. Welches seiner Modelle Ihren Text am besten vokalisiert, ist nicht gemessen: Bewerten Sie sie an Ihrer eigenen Stichprobe, bevor Sie wählen. Details zu Anfragen finden Sie in der API-Referenz.
