Arabisches Korrekturlesen sieht nach einem Einzeiler-Prompt aus: „Korrigiere diesen Text“. In der Praxis formuliert das Modell aber auch um, ergänzt Diakritika, tauscht ein Dialektwort gegen ein förmliches und erklärt seine Änderungen, und Sie können nicht erkennen, welche Edits nötig waren. Dieser Beitrag baut auf einem OpenAI-kompatiblen LLM eine Korrektur, die möglichst wenige Edits macht, die Antwort im Code prüft, jeden Edit einem Fehlertyp zuordnet und das Ganze so bewertet wie die Forschungs-Benchmarks.
Wie gut sind LLMs bei der arabischen Grammatikkorrektur?
Die Standard-Benchmarks sind die QALB Shared Tasks. QALB-2014 nutzte Kommentare in modernem Hocharabisch von der Website von Al Jazeera: über eine Million Wörter Trainingstext mit etwa 306.000 Korrekturen und Testsets von etwa 50.000 Wörtern. QALB-2015 ergänzte einen zweiten Track mit Aufsätzen von Lernenden des Arabischen als Fremdsprache (L2). Beide bewerteten Systeme auf Edit-Ebene mit dem M2-Scorer. Die besten Werte, F1 (höher ist besser):
| Testset | F1 des besten Systems | Text |
|---|---|---|
| QALB-2014 test | 67.91 | Nachrichtenkommentare von Muttersprachlern |
| QALB-2015 native test | 72.87 | Nachrichtenkommentare von Muttersprachlern |
| QALB-2015 L2 test | 41.20 | Aufsätze von Lernenden |
Die L2-Zeile ist die nützliche Warnung. Texte von Lernenden enthalten mehr Fehler bei der Wortwahl und mehr fehlende Wörter, und das beste System schnitt weit schlechter ab. Sind Ihre Nutzer Lernende, rechnen Sie mit Zahlen, die eher dieser Zeile ähneln.
Kwon, Bhatia, Nagoudi und Abdul-Mageed (ArabicNLP 2023) ließen dann ChatGPT und GPT-4 auf dem Testset von QALB-2014 laufen. Mit demselben Scorer:
| System | F1 |
|---|---|
| ChatGPT, 1 Beispiel | 53.59 |
| ChatGPT, 5 Beispiele | 63.98 |
| GPT-4, 5 Beispiele | 65.49 |
| AraT5v2, feinabgestimmt | 67.70 |
Zwei Details zählen für Ihren Prompt. Mehr Beispiele halfen deutlich. Und Zero-Shot-Prompts sowie Prompts auf Arabisch lieferten Antworten voller Erklärungen, die die Autoren nicht automatisch bewerten konnten. Eine Korrektur braucht eine Ausgabe, die ein Programm per Diff vergleichen kann.
Warum nicht einfach den Text normalisieren?
Der Normalisierer für arabischen Text auf dieser Website entfernt Taschkil und Tatweel, bildet أ إ آ auf ا ab und optional ى auf ي sowie ة auf ه. Das ist für die Suche der richtige Schritt, denn wer احمد tippt, soll أحمد finden. Vor der Korrektur ist es der falsche Schritt, denn er löscht genau die Unterscheidung, die die Korrektur wiederherstellen muss. Nach der Normalisierung sind انا und أنا dieselbe Zeichenkette, der Hamza-Fehler verschwindet also, und mit ihm die Korrektur.
Brauchen Sie beides, behalten Sie drei Kopien: den Originaltext, den korrigierten Text, den Sie Nutzern zeigen, und eine normalisierte Kopie des korrigierten Texts für Ihren Suchindex. Normalisierung arabischer Texte für die Suche behandelt die Indexseite. Ein Normalisierungsschritt gehört allerdings vor die Korrektur: Unicode NFC, das ein zerlegtes Alif plus kombinierendes Hamza zu einem Zeichen verbindet, damit der Diff keine Änderung meldet, die es nicht gibt.
Was sollte im Prompt stehen?
Verlangen Sie minimale Edits, nennen Sie die Fehlertypen, die Ihnen wichtig sind, verbieten Sie unerwünschte Änderungen und fordern Sie nur den korrigierten Text an. Ob Sie die Anweisungen auf Englisch oder Arabisch schreiben, entscheiden Sie; Prompt Engineering für Arabisch behandelt die Abwägung. Kwon et al. erhielten mit englischen Anweisungen plus Beispielen brauchbare Ausgaben. Drei bis fünf korrigierte Satzpaare aus Ihren eigenen Daten (Few-Shot) sind die günstigste Verbesserung, die Sie zuerst ausprobieren sollten.
Setzen Sie temperature auf 0. Sie wollen jedes Mal dieselbe Korrektur. Ist der Text in einem Dialekt wie Ägyptisch oder Golf-Arabisch, sagen Sie, ob der Dialekt erhalten bleiben soll. Der Prompt unten geht von modernem Hocharabisch (MSA) aus und weist das Modell an, den Stil nicht zu ändern, was den Dialekt mit abdeckt.
Wie prüfen Sie die Antwort des Modells?
Der Code stellt eine Anfrage, misst, wie stark die Antwort von der Eingabe abweicht, extrahiert Edits auf Wortebene und ordnet jeden einer Klasse zu.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
Wir haben das gegen einen lokalen Mock-Server mit vorgefertigten Antworten ausgeführt (kein Live-API-Aufruf, denn der Mock gibt zurück, was wir hineingeschrieben haben). Für ذهبت الى المدرسه و قابلت المعلمه في الصباح ergab die Antwort ذهبت إلى المدرسة وقابلت المعلمة في الصباح vier Edits: الى zu إلى (Hamza), المدرسه zu المدرسة (Taa marbuta), و قابلت zu وقابلت (Zusammenschreibung) und المعلمه zu المعلمة (Taa marbuta). Für مشي الي listete er مشي zu مشى (Alif maqsura) und الي zu إلى (gemischte Orthografie, da Hamza und Alif maqsura zugleich korrigiert werden). Eine vorgefertigte Antwort, die الطقس جميل اليوم in einen doppelt so langen Satz verwandelte, kam auf 0,52 Ähnlichkeit, also behielt der Code das Original und protokollierte die Antwort.
Hinweise zum Code:
- Der Ähnlichkeitsschutz ist ein grobes Werkzeug. Ein stark verschriebener Satz kann berechtigterweise in die Nähe von 0,8 fallen. Stimmen Sie den Schwellenwert an Ihren eigenen Daten ab und schicken Sie verworfene Antworten an einen Menschen, nicht in den Papierkorb.
max_tokens=2000lässt Raum für Reasoning. Laut der Dokumentation von BroadNet denken DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B vor der Antwort nach, und dieses Reasoning zählt zumax_tokens; Sie können auchreasoning_effortauf low setzen. Siehe leere Antworten von Reasoning-Modellen.- Die Klassen sind Regeln, kein Parser. Die Klasse „other“ umfasst fehlende Buchstaben (مسؤل zu مسؤول), Kongruenz und Wortwahl. Für eine vollständige Taxonomie lassen Sie ARETA (siehe unten) über dieselben Paare laufen.
Welche Fehlerklassen sollten Sie verfolgen?
Die QALB-Organisatoren nennen Alifs mit Hamza und die Verwechslung von Alif maqsura und Ya als die häufigsten arabischen Rechtschreibfehler. ARETA, der Fehlertyp-Annotator von CAMeL Lab (Belkebir und Habash, CoNLL 2021), nutzt ein Tagset auf Basis des Arabic Learner Corpus. Zu seinen orthografischen Tags gehören OH (Hamza), OT (Ha und Taa marbuta) und OA (Alif und Ya), daneben Tags für Morphologie, Syntax, Semantik, Zeichensetzung, Zusammenschreibung (MG) und Getrenntschreibung (SP). Sein Paper nennt 85,8 % Micro-Average-F1 gegenüber von Hand annotierten Lernertexten.
| Klasse | Falsch | Richtig | Was schiefgeht |
|---|---|---|---|
| Hamza | انا، الى، مسأله | أنا، إلى، مسألة | Hamza fehlt, sitzt auf dem falschen Träger oder auf der falschen Seite des Alif |
| Taa marbuta | المدرسه | المدرسة | Finales ة als ه geschrieben oder umgekehrt |
| Alif maqsura | مشي، علي (Präposition) | مشى، على | Finales ى als ي geschrieben; علي ist auch ein Name, der Kontext entscheidet |
| Zusammen- oder Getrenntschreibung | و قابلت، عبدالله | وقابلت، عبد الله | Leerzeichen um و und ال, zusammengesetzte Namen |
| Zeichensetzung | fehlendes ، oder ؟ | ergänzt | Bei der Zeichensetzung waren sich die QALB-Annotatoren am wenigsten einig |
Verfolgen Sie den Recall pro Klasse. Ein Modell, das Taa marbuta korrigiert, aber Hamza nach einer Präposition übersieht, braucht Beispiele für genau dieses Muster, kein anderes Modell.
Wie bewerten Sie eine Korrektur?
Grammatische Fehlerkorrektur wird auf Edit-Ebene bewertet. Vergleichen Sie die Edits, die die Quelle in einen von Hand korrigierten Gold-Satz überführen, mit den Edits, die sie in die Modellausgabe überführen. Precision ist der Anteil der Modell-Edits, die mit Gold übereinstimmen. Recall ist der Anteil der Gold-Edits, die das Modell gemacht hat. QALB gab F1 an; spätere Arbeiten, auch Kwon et al., nennen zusätzlich F0.5, das Precision doppelt so stark gewichtet wie Recall, weil eine falsche „Korrektur“ Nutzer mehr stört als eine verpasste.
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
Auf einem Spielzeug-Set aus zwei Sätzen mit sieben Gold-Edits, bei dem die Ausgabe die Zusammenschreibung und ein Taa marbuta verpasste und einen Punkt ergänzte, gab es P 0.833, R 0.714 und F0.5 0.806 aus, mit Recall pro Klasse: Hamza 2/2, Taa marbuta 2/3, Zusammenschreibung 0/1.
Das ist die M2-Idee, vereinfacht. Der offizielle M2-Scorer sucht die Ausrichtung der System-Edits, die am besten zu Gold passt, sodass eine korrekte Korrektur, die anders als Gold in Edits zerlegt ist, nicht bestraft wird. Unser exakter Abgleich ist strenger. Verwenden Sie den offiziellen Scorer, wenn Sie mit veröffentlichten Zahlen vergleichen (seine Entwicklerversion braucht noch Python 2). ERRANT erledigt dieselbe Edit-Extraktion, aber nur für Englisch.
Bauen Sie das Gold-Set aus echten Nutzertexten, 100 bis 200 Sätze, korrigiert von einer sorgfältigen Annotatorin oder einem Annotator mit denselben Regeln für minimale Edits, die Sie dem Modell gegeben haben. Lassen Sie jedes Kandidatenmodell und jeden Prompt darüber laufen und vergleichen Sie F0.5 und Recall pro Klasse. Wie Sie ein LLM vor dem Wechsel bewerten zeigt, wie Sie diesen Vergleich fair durchführen.
Was ist mit Tibyan und synthetischen Daten?
Gelabelte arabische Korrekturdaten sind knapp. Alrehili und Alhothali weisen darauf hin, dass QALB-14 und QALB-15 zusammen etwa 20.500 parallele Beispiele enthalten. Ihr Tibyan-Korpus (arXiv 2024, später in PeerJ Computer Science) nutzte ChatGPT, um aus Büchern über häufige arabische Fehler Paare aus fehlerhaften und korrekten Sätzen zu erzeugen, die von Linguisten geprüft wurden. Er umfasst etwa 600.000 Tokens mit sieben Fehlertypen: Orthografie, Morphologie, Syntax, Semantik, Zeichensetzung, Zusammenschreibung und Getrenntschreibung. Die Autoren geben an, dass der Korpus öffentlich ist; wir haben keinen Download-Link gefunden, um seine Lizenz zu prüfen. Für Few-Shot-Beispiele und Stresstests ist er nützlich, aber er ist synthetisch, nutzen Sie ihn also nicht als Abnahmetest.
Brauchen Sie eine Baseline ohne LLM, veröffentlicht das Repository arabic-gec von CAMeL Lab Code und Modelle aus Alhafni et al. (EMNLP 2023). Nur für Rechtschreibung schlägt das Paket ar-corrector Wörterbuchwörter mit ein oder zwei Edits Abstand vor; Grammatik behandelt es nicht, und sein letztes Release stammt von 2021.
Welches BroadNet-Modell sollten Sie verwenden?
Preise pro 1 Mio. Tokens laut der Preisseite von BroadNet. Die Ausgabe einer Korrektur ist etwa so lang wie die Eingabe, der Output-Preis zählt also.
| Modell | Warum | Input / Output |
|---|---|---|
| Qwen3.8 27B | Reasoning dokumentiert; BroadNet meldet Tests auf Arabisch, einschließlich Verständnis von Golf- und ägyptischem Dialekt | $0.175 / $2.17 |
| GLM 5.3 | Reasoning dokumentiert; langer Kontext für ganze Dokumente | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | Niedrigster Output-Preis unter den Reasoning-Modellen hier; auch mit pauschalen Session-Plänen | $0.175 / $0.52 |
| Gemma 4 VL 26B | Läuft mit dem Startguthaben von $5, Sie können die Pipeline also vor der Aufladung bauen | $0.10 / $0.22 |
Lassen Sie den Scorer mit jedem Modell über Ihr Gold-Set laufen und wählen Sie nach F0.5 und Preis. Arabisch braucht pro Wort meist mehr Tokens als Englisch; fügen Sie eine Stichprobe in den Token-Zähler für Arabisch ein und schätzen Sie die Rechnung mit dem Kostenrechner für LLM-APIs. Für das Korrekturlesen eines großen Archivs hat BroadNet keine Batch API; Batch-Verarbeitung ohne Batch API zeigt, wie Sie es mit begrenzter Parallelität ausführen, oder auf einer DeepSeek-Session für $15 pro Woche (jeweils eine Anfrage pro Session).
Wo BroadNet Inference ins Bild passt
BroadRouter ist BroadNets eigene Website. BroadNet Inference bietet OpenAI-kompatiblen Zugriff auf die Modelle oben, der Code läuft also mit dem OpenAI Python SDK, nachdem Sie die Base-URL geändert haben. Es hat keinen Endpoint für Korrekturlesen und veröffentlicht keinen eigenen Benchmark für arabische Korrektur, messen Sie also an Ihrem Text. Laut seiner Datenschutzerklärung werden Inferenzinhalte nicht gespeichert, was zählt, wenn Sie Kundennachrichten korrigieren. Brauchen Sie eine selbst gehostete Korrektur für sehr hohes Volumen, kann ein feinabgestimmtes Modell wie die von CAMeL Lab günstiger und konsistenter sein; die veröffentlichten Werte oben sind der Grund, beides zu testen.
