BroadRouter

Arabischen Text per LLM vokalisieren: Prompt, Prüfung, DER

Vom Team von BroadNet Inference · 8 Min. Lesezeit · Veröffentlicht · Aktualisiert

Bitten Sie das Modell um vollständiges Taschkil und sonst nichts, entfernen Sie dann die Diakritika aus der Antwort und vergleichen Sie mit Ihrer Eingabe. Jeder geänderte Buchstabe heißt: verwerfen und erneut versuchen. Bewerten Sie eine von Hand geprüfte Stichprobe mit Diakritika-Fehlerrate (DER) und Wortfehlerrate (WER), mit und ohne Kasusendungen. Veröffentlichte Ergebnisse sehen GPT-4 knapp hinter den besten spezialisierten Diakritisierern.

Arabisch wird normalerweise ohne kurze Vokale geschrieben. Ein Leser ergänzt sie aus dem Kontext, Software oft nicht. Ihre Wiederherstellung, Diakritisierung oder Taschkil genannt, macht aus كتب je nach Satz كَتَبَ (er schrieb), كُتُبٌ (Bücher) oder كُتِبَ (es wurde geschrieben). Dieser Beitrag zeigt, wie das mit einem LLM über eine OpenAI-kompatible API gelingt, wie Sie verhindern, dass das Modell Ihren Text stillschweigend ändert, und wie Sie das Ergebnis mit einem spezialisierten Diakritisierer vergleichen.

Wann brauchen Sie Diakritika?

  • Text-to-Speech. Eine Stimme braucht die Vokale, um ein Wort auszusprechen. Das CATT-Paper nennt Text-to-Speech und maschinelle Übersetzung als Anwendungen, die von Diakritika profitieren. BroadNet Inference hat keinen Text-to-Speech-Endpoint; in einer TTS-Pipeline geht der vokalisierte Text also an einen separaten TTS-Dienst.
  • Lernende und Kindermaterial. Wer noch lesen lernt, verlässt sich auf die Zeichen.
  • Mehrdeutige Namen und Begriffe. Eigennamen, seltene Wörter und Fachbegriffe, bei denen ein falscher Vokal die Bedeutung ändert.
  • Religiöse und klassische Texte. Hier gehören die Zeichen zum Text, und ein automatisches Werkzeug sollte nur Lücken füllen, unter menschlicher Kontrolle.

Für Suche oder Retrieval wollen Sie meist keine Diakritika. Dort entfernen Sie sie, wie in Normalisierung arabischer Texte für die Suche. Der kostenlose Normalisierer für arabischen Text erledigt dieses Entfernen im Browser. Diakritisierung ist die Gegenoperation und viel schwieriger: Zeichen entfernen ist ein Nachschlagen, Zeichen ergänzen braucht Grammatik und Kontext.

Wie gut sind LLMs bei der Diakritisierung?

Zwei veröffentlichte Zahlen, mit Vorsicht zu lesen:

System CATT-Benchmark, DER mit Kasusendungen DER ohne WER mit Kasusendungen WER ohne
CATT Encoder-Decoder 8.624% 6.989% 34.191% 28.477%
CATT Encoder-only 8.762% 7.088% 35.508% 29.714%
GPT-4 (laut Text des Papers GPT-4-turbo) 9.515% 8.113% 38.311% 33.505%
Command R+ 13.169% 11.329% 48.518% 44.158%
Shakkala 13.494% 10.386% 50.387% 40.643%
Mishkal 16.482% 10.796% 60.844% 40.215%

Quelle: Tabelle 4 des CATT-Papers (2024). Niedriger ist besser. Der Benchmark besteht aus 742 Nachrichtensätzen, 2023 gesammelt, von zwei muttersprachlichen Experten vokalisiert und von einem dritten geprüft.

Auf dem zweiten Testset des Papers, WikiNews (400 Sätze), schnitt GPT-4 weit besser ab als alle anderen: 0,551 % DER. Die Autoren markieren diese Zeile und vermuten, dass das Modell WikiNews im Training gesehen haben könnte. Das ist die allgemeine Warnung bei LLM-Benchmarks: Öffentlicher Testtext kann in den Trainingsdaten stecken. Dieselbe Sorge äußern die CATT-Autoren zu Tashkeela, dessen Bücher viele Koran- und Hadith-Zitate enthalten.

Ein separates Paper von Skiredj und Berrada aus dem Jahr 2024 nennt für GPT-4 etwa 20 % DER und 30 % WER auf dem Benchmark von Fadel et al., ohne die Details, die wir für einen Vergleich mit der Tabelle oben bräuchten.

Modelle der GPT-4-Klasse können also nah an einen spezialisierten Diakritisierer herankommen, aber auch hinter ihm zurückbleiben. Beide Papers sind älter als die offenen Modelle, die Sie heute aufrufen können. Messen Sie mit Ihrem eigenen Text.

Welche Testsets gibt es?

Datensatz Was er ist
Tashkeela 75.629.921 vollständig vokalisierte Wörter aus 97 Büchern; 98,85 % klassisches Arabisch aus der Shamela-Bibliothek, 1,15 % modernes Hocharabisch
Benchmark von Fadel et al. Etwa 2,3 Mio. Wörter aus Tashkeela; 50.000 Trainings-, 2.500 Validierungs- und 2.500 Testzeilen
CATT-Benchmark 742 von Hand vokalisierte Nachrichtensätze, veröffentlicht mit den CATT-Modellen
WikiNews 400 von Hand vokalisierte MSA-Nachrichtensätze

Tashkeela und das Fadel-Set sind überwiegend klassisch. Ist Ihr Text modernes Geschäfts- oder Nachrichtenarabisch, liegen die CATT- und WikiNews-Sets näher, und eine Stichprobe Ihres eigenen Texts am nächsten.

Welcher Prompt lässt die Buchstaben unverändert?

Die Aufgabe des Modells ist, Zeichen zu ergänzen und sonst nichts anzurühren. LLMs helfen gern, und sie korrigieren الى zu إلى, ändern ein ى am Wortende zu ي oder ergänzen ein fehlendes Hamza. Das mag jeweils korrektes Arabisch sein, ist aber eine Rechtschreibkorrektur, keine Diakritisierung. Sie ändert Ihren Text, ohne es Ihnen zu sagen.

Deshalb nennt der Prompt die Regel, und der Code setzt sie durch: Entfernen Sie die Diakritika aus der Antwort und vergleichen Sie mit der ebenso bereinigten Eingabe. Weicht ein Buchstabe, ein Leerzeichen oder ein Satzzeichen ab, wird die Antwort verworfen.

import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

MARKS = re.compile("[ً-ْٰ]")  # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""

def skeleton(s: str) -> str:
    """The text with every diacritic removed: what the model is not allowed to change."""
    return MARKS.sub("", unicodedata.normalize("NFC", s))

def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
    for attempt in range(tries):
        r = client.chat.completions.create(
            model=model, max_tokens=4000, temperature=0,
            messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
        out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
        if skeleton(out) == skeleton(text):
            return out
        diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
        print(f"attempt {attempt + 1}: letters changed {diff}")
    return None  # keep the undiacritized text; never ship a changed sentence

for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
    print(diacritize(line))

Wir haben das gegen einen lokalen Mock-Server ausgeführt, nicht gegen die Live-API. Seine vorgefertigte Antwort auf den ersten Satz „korrigierte“ الى bei beiden Versuchen zu إلى, die Antwort auf den zweiten war sauber. Die Ausgabe:

attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ

Hinweise zum Code:

  • Zuerst Unicode NFC. Ein Hamza kann als ein vorkomponiertes Zeichen (أ) ankommen oder als Buchstabe plus kombinierendes Zeichen. NFC gleicht beide Seiten vor dem Vergleich an. Der Beitrag zur Normalisierung behandelt diese Falle ausführlich.
  • max_tokens=4000. Laut der Dokumentation von BroadNet denken DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B vor der Antwort nach, und das Reasoning zählt zu max_tokens. Ein zu kleines Limit liefert eine leere Antwort, die die Prüfung verwirft. Lassen Sie Spielraum oder setzen Sie reasoning_effort auf low; siehe leere Antworten von Reasoning-Modellen und den Rechner für das Reasoning-Token-Budget.
  • Die Prüfung testet „vorhandene Diakritika beibehalten“ nicht. Ist Ihre Eingabe teilweise vokalisiert, vergleichen Sie auch diese Zeichen.
  • Rechtschreibung ist eine eigene Entscheidung. Wollen Sie الى korrigiert haben, führen Sie zuerst einen Korrekturschritt aus und vokalisieren dann den korrigierten Text. Wer beides vermischt, kann keines von beiden prüfen.
  • Langen Text aufteilen. Senden Sie einen Satz oder Absatz pro Anfrage. CATT selbst begrenzt die Eingabe auf 1.024 Zeichen und teilt lange Sätze an Satzzeichen; dieselbe Gewohnheit hält LLM-Antworten kurz und Wiederholungen günstig.

Allgemeine Tipps zum Schreiben arabischer Prompts, auch dazu, wann Sie einem Modell sagen sollten, keine Diakritika hinzuzufügen, finden Sie unter Prompt Engineering für Arabisch.

Wie bewerten Sie Diakritisierung: DER und WER?

Die Diakritika-Fehlerrate (DER) ist der Anteil der Buchstaben, deren Diakritika von der Referenz abweichen. Die Wortfehlerrate (WER) ist hier der Anteil der Wörter mit mindestens einem falschen Diakritikum. Das ist nicht die WER der Spracherkennung aus unserem ASR-Beitrag; sie zählt Wörter mit einem falschen Zeichen, nicht eingefügte oder ausgelassene Wörter.

Zwei Einstellungen verändern die Zahlen stark:

  • Mit oder ohne Kasusendungen. Der letzte Buchstabe eines Worts trägt seinen grammatischen Kasus (I’rab), der von der Syntax abhängt. Papers nennen beide Varianten, weil Kasusendungen viele der Fehler verursachen.
  • Buchstaben ohne Diakritikum mitzählen. Manche Skripte zählen einen unmarkierten Buchstaben (etwa das Alif in الطالب) als korrekte Vorhersage „kein Diakritikum“, manche überspringen ihn. Das Bewertungsskript von Fadel hat dafür ein Flag.

Veröffentlichte Skripte treffen diese Entscheidungen unterschiedlich, vergleichen Sie also nur Zahlen aus demselben Skript. Dieses hier ist kurz genug zum Lesen:

import re, unicodedata

MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")

def letters(word: str) -> list[tuple[str, str]]:
    """(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
    out = []
    for ch in unicodedata.normalize("NFC", word):
        if LETTER.match(ch):
            out.append([ch, ""])
        elif MARK.match(ch) and out:
            out[-1][1] += ch
    return [(c, "".join(sorted(d))) for c, d in out]

def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
    """DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
    case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
    errs = total = werr = words = 0
    for g_line, p_line in zip(gold, pred):
        for g, p in zip(g_line.split(), p_line.split()):
            G, P = letters(g), letters(p)
            if [c for c, _ in G] != [c for c, _ in P]:
                raise ValueError(f"letters differ: {g} / {p}")  # score only same-skeleton output
            scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
                      if (case_ending or i < len(G) - 1) and (count_bare or gd)]
            if not scored:
                continue
            bad = sum(gd != pd for gd, pd in scored)
            errs += bad; total += len(scored); werr += bad > 0; words += 1
    return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}

gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
    print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))

Die Spielzeug-Vorhersage hat zwei falsche Kasusendungen und einen falschen Binnenvokal bei 32 Buchstaben und 7 Wörtern. Sie gibt mit Kasusendungen DER 9.38 und WER 42.86 aus, ohne DER 4.0 und WER 14.29. Beachten Sie, wie WER wenige Fehler vergrößert: Ein falsches Zeichen verdirbt ein ganzes Wort.

Das Skript weigert sich, ein Wort mit geänderten Buchstaben zu bewerten. Das ist Absicht. Ein Diakritisierer, der Buchstaben bearbeitet, hat die Aufgabe verfehlt, und seine DER wäre bedeutungslos.

Als zweite Prüfung haben wir Mishkal 0.4.1, einen regelbasierten Diakritisierer, auf einen Satz mit 16 Wörtern angewendet, den wir von Hand vokalisiert hatten. Alle vier Fehler betrafen Kasusendungen, etwa مُحَمَّدُ statt مُحَمَّدٌ. Das Ergebnis: DER 5.88 mit Kasusendungen und 0.0 ohne. Ein einzelner Satz beweist nichts über Mishkal; er zeigt, warum Sie beide Varianten angeben.

Für ein Testset nehmen Sie 100 bis 200 Sätze Ihres eigenen Texts, lassen sie von einem Muttersprachler vokalisieren, entfernen die Zeichen und schicken jeden Kandidaten darüber. Die menschliche Fassung bleibt der Goldstandard.

Wann schlägt ein spezialisierter Diakritisierer ein LLM?

Wählen Sie Wenn
Ein spezialisiertes Modell (CATT, libtashkeel, Mishkal) Hohes Volumen, feste Textart, strenge Latenz, Offline- oder On-Device-Einsatz oder Bedarf an konstruktionsbedingt buchstabengetreuer Ausgabe
Ein LLM über eine API Geringes oder schwankendes Volumen, gemischte oder unsaubere Eingaben, ein Team ohne ML-Ops oder eine Pipeline, die ohnehin für andere Schritte ein LLM aufruft

Spezialisierte Modelle sagen ein Zeichen pro Buchstabe vorher, sie können Ihren Text also nicht umschreiben. CATT steht unter Apache 2.0 und wird mit pip install catt-tashkeel installiert; die README empfiehlt das Encoder-only-Modell für Geschwindigkeit und das Encoder-Decoder-Modell für Genauigkeit. libtashkeel steht unter MIT und ist überwiegend auf MSA trainiert. Mishkal ist regelbasiert und steht unter der GPL, was zählt, wenn Sie es in einem Produkt ausliefern.

Ein LLM ist der schnellere Start und kommt mit Eingaben zurecht, die ein trainiertes Modell nie gesehen hat: Dialekt, gemischtes Arabisch und Englisch, ungewöhnliche Zeichensetzung. Es braucht bei jeder Antwort die Gerüstprüfung von oben, und es kostet pro Token.

Was kostet LLM-Diakritisierung?

Diakritika sind zusätzliche Zeichen, und Tokenizer zerlegen sie in zusätzliche Tokens. Wir haben das Fadel-Testset mit 2.500 Zeilen (125.098 Wörter) mit dem jeweils eigenen Tokenizer jedes Modells gezählt, unvokalisierter gegen vollständig vokalisierten Text:

Tokenizer Unvokalisiert Vokalisiert Verhältnis
Qwen3.8 27B 196,987 407,144 2.07×
DeepSeek V4.1 Flash 222,555 540,454 2.43×
Gemma 4 VL 26B 208,769 508,758 2.44×
GLM 5.3 239,753 770,361 3.21×

Sie zahlen Input-Tokens für den unvokalisierten Text und Output-Tokens für die vokalisierte Antwort, dazu etwaiges Reasoning. Output ist die teure Seite: $2.17 pro Million Tokens bei Qwen3.8 27B, $0.52 bei DeepSeek V4.1 Flash, $3.46 bei GLM 5.3 und $0.22 bei Gemma 4 VL 26B, laut der Preisseite von BroadNet. Wiederholungen nach einer fehlgeschlagenen Prüfung kommen hinzu. Fügen Sie Ihren eigenen Text in den Token-Zähler für Arabisch ein, um das Verhältnis für Ihre Daten zu prüfen, und lesen Sie Tokens pro Wort auf Arabisch und Englisch, warum Arabisch von vornherein mehr Tokens kostet.

Für einen einmaligen Job über ein großes Archiv ersetzen die DeepSeek-V4.1-Flash-Pläne den Zähler durch einen Pauschalpreis pro Session ($15 pro Woche oder $1 pro Stunde); jede Session verarbeitet jeweils eine Anfrage, planen Sie den Lauf also wie in Batch-Verarbeitung ohne Batch API.

Wo BroadNet Inference ins Bild passt

BroadRouter ist BroadNets eigene Website. BroadNet Inference stellt die vier Chat-Modelle oben über einen OpenAI-kompatiblen Endpoint bereit, der Code läuft also mit dem OpenAI Python SDK, sobald Base-URL und Schlüssel gesetzt sind. Gemma 4 VL 26B läuft mit dem Startguthaben von $5; DeepSeek, GLM und Qwen brauchen eine Aufladung. BroadNet hat keinen Diakritisierungs-Endpoint, veröffentlicht keinen eigenen Diakritisierungs-Benchmark und bietet kein Text-to-Speech. Welches seiner Modelle Ihren Text am besten vokalisiert, ist nicht gemessen: Bewerten Sie sie an Ihrer eigenen Stichprobe, bevor Sie wählen. Details zu Anfragen finden Sie in der API-Referenz.

Häufige Fragen

Wie füge ich in Python Diakritika zu arabischem Text hinzu?

Es gibt zwei Wege. Installieren Sie einen spezialisierten Diakritisierer wie catt-tashkeel (Apache 2.0) oder mishkal (GPL) und rufen Sie ihn lokal auf, oder senden Sie den Text an ein LLM mit einem Prompt, der nur Taschkil verlangt. Prüfen Sie bei einem LLM immer, dass die Antwort ohne Diakritika Ihrer Eingabe entspricht.

Kann ChatGPT oder GPT-4 arabischen Text gut vokalisieren?

Bei manchen Tests nah an den besten spezialisierten Systemen, bei anderen dahinter. Das CATT-Paper maß für GPT-4 auf seinem Nachrichten-Benchmark 9,515 % DER mit Kasusendungen, gegenüber 8,624 % für das eigene Modell. Ein anderes Paper von 2024 nennt für GPT-4 etwa 20 % DER auf dem Fadel-Benchmark. Testen Sie mit Ihrem eigenen Text.

Was ist der Unterschied zwischen DER und WER bei der Diakritisierung?

DER ist der Anteil der Buchstaben mit falschen Diakritika. WER ist der Anteil der Wörter mit mindestens einem falschen Diakritikum und liegt daher immer höher. Beide werden mit Kasusendungen (dem letzten Buchstaben jedes Worts) und ohne sie angegeben.

Warum ändert mein LLM beim Taschkil Buchstaben?

Es korrigiert nebenbei die Rechtschreibung: الى wird zu إلى, ein ى wird zu ي, ein fehlendes Hamza taucht auf. Das mag richtig sein, ist aber eine Korrektur, keine Diakritisierung, und es macht die buchstabengenaue Bewertung unmöglich. Verbieten Sie es im Prompt, prüfen Sie jede Antwort und führen Sie eine Rechtschreibkorrektur bei Bedarf als eigenen Schritt aus.

Kann BroadNet den vokalisierten Text vorlesen?

Nein. BroadNet Inference hat keinen Text-to-Speech-Endpoint. Es bietet Chat-Modelle und Speech-to-Text. Ist die Diakritisierung das Frontend einer TTS-Pipeline, senden Sie das Ergebnis an einen separaten TTS-Dienst.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen