BroadRouter

Arabische Grammatik- und Rechtschreibkorrektur per LLM: Anleitung

Vom Team von BroadNet Inference · 8 Min. Lesezeit · Veröffentlicht · Aktualisiert

Bitten Sie das Modell nur um den korrigierten Text, mit so wenigen Änderungen wie möglich und ohne Umformulierung. Vergleichen Sie die Antwort dann im Code mit der Eingabe: Verwerfen Sie Antworten, die zu viel geändert haben, und ordnen Sie jeden Edit auf Wortebene einer Klasse zu, etwa Hamza, Taa marbuta, Alif maqsura, Zusammenschreibung, Getrenntschreibung oder Sonstiges. Bewerten Sie eine von Hand korrigierte Stichprobe auf Edit-Ebene mit Precision, Recall und F0.5.

Arabisches Korrekturlesen sieht nach einem Einzeiler-Prompt aus: „Korrigiere diesen Text“. In der Praxis formuliert das Modell aber auch um, ergänzt Diakritika, tauscht ein Dialektwort gegen ein förmliches und erklärt seine Änderungen, und Sie können nicht erkennen, welche Edits nötig waren. Dieser Beitrag baut auf einem OpenAI-kompatiblen LLM eine Korrektur, die möglichst wenige Edits macht, die Antwort im Code prüft, jeden Edit einem Fehlertyp zuordnet und das Ganze so bewertet wie die Forschungs-Benchmarks.

Wie gut sind LLMs bei der arabischen Grammatikkorrektur?

Die Standard-Benchmarks sind die QALB Shared Tasks. QALB-2014 nutzte Kommentare in modernem Hocharabisch von der Website von Al Jazeera: über eine Million Wörter Trainingstext mit etwa 306.000 Korrekturen und Testsets von etwa 50.000 Wörtern. QALB-2015 ergänzte einen zweiten Track mit Aufsätzen von Lernenden des Arabischen als Fremdsprache (L2). Beide bewerteten Systeme auf Edit-Ebene mit dem M2-Scorer. Die besten Werte, F1 (höher ist besser):

Testset F1 des besten Systems Text
QALB-2014 test 67.91 Nachrichtenkommentare von Muttersprachlern
QALB-2015 native test 72.87 Nachrichtenkommentare von Muttersprachlern
QALB-2015 L2 test 41.20 Aufsätze von Lernenden

Die L2-Zeile ist die nützliche Warnung. Texte von Lernenden enthalten mehr Fehler bei der Wortwahl und mehr fehlende Wörter, und das beste System schnitt weit schlechter ab. Sind Ihre Nutzer Lernende, rechnen Sie mit Zahlen, die eher dieser Zeile ähneln.

Kwon, Bhatia, Nagoudi und Abdul-Mageed (ArabicNLP 2023) ließen dann ChatGPT und GPT-4 auf dem Testset von QALB-2014 laufen. Mit demselben Scorer:

System F1
ChatGPT, 1 Beispiel 53.59
ChatGPT, 5 Beispiele 63.98
GPT-4, 5 Beispiele 65.49
AraT5v2, feinabgestimmt 67.70

Zwei Details zählen für Ihren Prompt. Mehr Beispiele halfen deutlich. Und Zero-Shot-Prompts sowie Prompts auf Arabisch lieferten Antworten voller Erklärungen, die die Autoren nicht automatisch bewerten konnten. Eine Korrektur braucht eine Ausgabe, die ein Programm per Diff vergleichen kann.

Warum nicht einfach den Text normalisieren?

Der Normalisierer für arabischen Text auf dieser Website entfernt Taschkil und Tatweel, bildet أ إ آ auf ا ab und optional ى auf ي sowie ة auf ه. Das ist für die Suche der richtige Schritt, denn wer احمد tippt, soll أحمد finden. Vor der Korrektur ist es der falsche Schritt, denn er löscht genau die Unterscheidung, die die Korrektur wiederherstellen muss. Nach der Normalisierung sind انا und أنا dieselbe Zeichenkette, der Hamza-Fehler verschwindet also, und mit ihm die Korrektur.

Brauchen Sie beides, behalten Sie drei Kopien: den Originaltext, den korrigierten Text, den Sie Nutzern zeigen, und eine normalisierte Kopie des korrigierten Texts für Ihren Suchindex. Normalisierung arabischer Texte für die Suche behandelt die Indexseite. Ein Normalisierungsschritt gehört allerdings vor die Korrektur: Unicode NFC, das ein zerlegtes Alif plus kombinierendes Hamza zu einem Zeichen verbindet, damit der Diff keine Änderung meldet, die es nicht gibt.

Was sollte im Prompt stehen?

Verlangen Sie minimale Edits, nennen Sie die Fehlertypen, die Ihnen wichtig sind, verbieten Sie unerwünschte Änderungen und fordern Sie nur den korrigierten Text an. Ob Sie die Anweisungen auf Englisch oder Arabisch schreiben, entscheiden Sie; Prompt Engineering für Arabisch behandelt die Abwägung. Kwon et al. erhielten mit englischen Anweisungen plus Beispielen brauchbare Ausgaben. Drei bis fünf korrigierte Satzpaare aus Ihren eigenen Daten (Few-Shot) sind die günstigste Verbesserung, die Sie zuerst ausprobieren sollten.

Setzen Sie temperature auf 0. Sie wollen jedes Mal dieselbe Korrektur. Ist der Text in einem Dialekt wie Ägyptisch oder Golf-Arabisch, sagen Sie, ob der Dialekt erhalten bleiben soll. Der Prompt unten geht von modernem Hocharabisch (MSA) aus und weist das Modell an, den Stil nicht zu ändern, was den Dialekt mit abdeckt.

Wie prüfen Sie die Antwort des Modells?

Der Code stellt eine Anfrage, misst, wie stark die Antwort von der Eingabe abweicht, extrahiert Edits auf Wortebene und ordnet jeden einer Klasse zu.

import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
  letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""

def tokens(s: str) -> list[str]:
    s = unicodedata.normalize("NFC", s)        # composed hamza forms, so أ is one character
    return re.findall(r"\w+|[^\w\s]", s)       # Arabic letters are \w; ، ؟ ؛ become tokens

def edits(src: str, hyp: str) -> list[tuple]:
    """Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
    a, b = tokens(src), tokens(hyp)
    out = []
    for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
        i, j = i1, j1
        while op != "equal" and (i < i2 or j < j2):     # split the block into one-word edits
            if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]:      # و قابلت -> وقابلت
                out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
            elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]:    # عبدالله -> عبد الله
                out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
            elif i < i2 and j < j2:
                out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
            elif i < i2:                                                # deleted word
                out.append((i, i + 1, "", a[i])); i += 1
            else:                                                       # inserted word
                out.append((i, i, b[j], "")); j += 1
    return out

HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
         ("taa marbuta", lambda w: w.replace("ة", "ه")),
         ("alef maqsura", lambda w: w.replace("ى", "ي"))]

def error_class(orig: str, corr: str) -> str:
    if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
        return "punctuation"
    if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
        return "merge" if " " in orig else "split"
    for name, f in RULES:
        if orig != corr and f(orig) == f(corr):
            return name
    both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
    if both(orig) == both(corr):
        return "mixed orthography"
    return "other"

def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
    r = client.chat.completions.create(
        model=model, temperature=0, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    out = r.choices[0].message.content.strip()
    sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
    if sim < min_similarity:             # a rewrite, not a correction: keep the original
        return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
    return {"text": out, "similarity": round(sim, 2),
            "edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}

Wir haben das gegen einen lokalen Mock-Server mit vorgefertigten Antworten ausgeführt (kein Live-API-Aufruf, denn der Mock gibt zurück, was wir hineingeschrieben haben). Für ذهبت الى المدرسه و قابلت المعلمه في الصباح ergab die Antwort ذهبت إلى المدرسة وقابلت المعلمة في الصباح vier Edits: الى zu إلى (Hamza), المدرسه zu المدرسة (Taa marbuta), و قابلت zu وقابلت (Zusammenschreibung) und المعلمه zu المعلمة (Taa marbuta). Für مشي الي listete er مشي zu مشى (Alif maqsura) und الي zu إلى (gemischte Orthografie, da Hamza und Alif maqsura zugleich korrigiert werden). Eine vorgefertigte Antwort, die الطقس جميل اليوم in einen doppelt so langen Satz verwandelte, kam auf 0,52 Ähnlichkeit, also behielt der Code das Original und protokollierte die Antwort.

Hinweise zum Code:

  • Der Ähnlichkeitsschutz ist ein grobes Werkzeug. Ein stark verschriebener Satz kann berechtigterweise in die Nähe von 0,8 fallen. Stimmen Sie den Schwellenwert an Ihren eigenen Daten ab und schicken Sie verworfene Antworten an einen Menschen, nicht in den Papierkorb.
  • max_tokens=2000 lässt Raum für Reasoning. Laut der Dokumentation von BroadNet denken DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B vor der Antwort nach, und dieses Reasoning zählt zu max_tokens; Sie können auch reasoning_effort auf low setzen. Siehe leere Antworten von Reasoning-Modellen.
  • Die Klassen sind Regeln, kein Parser. Die Klasse „other“ umfasst fehlende Buchstaben (مسؤل zu مسؤول), Kongruenz und Wortwahl. Für eine vollständige Taxonomie lassen Sie ARETA (siehe unten) über dieselben Paare laufen.

Welche Fehlerklassen sollten Sie verfolgen?

Die QALB-Organisatoren nennen Alifs mit Hamza und die Verwechslung von Alif maqsura und Ya als die häufigsten arabischen Rechtschreibfehler. ARETA, der Fehlertyp-Annotator von CAMeL Lab (Belkebir und Habash, CoNLL 2021), nutzt ein Tagset auf Basis des Arabic Learner Corpus. Zu seinen orthografischen Tags gehören OH (Hamza), OT (Ha und Taa marbuta) und OA (Alif und Ya), daneben Tags für Morphologie, Syntax, Semantik, Zeichensetzung, Zusammenschreibung (MG) und Getrenntschreibung (SP). Sein Paper nennt 85,8 % Micro-Average-F1 gegenüber von Hand annotierten Lernertexten.

Klasse Falsch Richtig Was schiefgeht
Hamza انا، الى، مسأله أنا، إلى، مسألة Hamza fehlt, sitzt auf dem falschen Träger oder auf der falschen Seite des Alif
Taa marbuta المدرسه المدرسة Finales ة als ه geschrieben oder umgekehrt
Alif maqsura مشي، علي (Präposition) مشى، على Finales ى als ي geschrieben; علي ist auch ein Name, der Kontext entscheidet
Zusammen- oder Getrenntschreibung و قابلت، عبدالله وقابلت، عبد الله Leerzeichen um و und ال, zusammengesetzte Namen
Zeichensetzung fehlendes ، oder ؟ ergänzt Bei der Zeichensetzung waren sich die QALB-Annotatoren am wenigsten einig

Verfolgen Sie den Recall pro Klasse. Ein Modell, das Taa marbuta korrigiert, aber Hamza nach einer Präposition übersieht, braucht Beispiele für genau dieses Muster, kein anderes Modell.

Wie bewerten Sie eine Korrektur?

Grammatische Fehlerkorrektur wird auf Edit-Ebene bewertet. Vergleichen Sie die Edits, die die Quelle in einen von Hand korrigierten Gold-Satz überführen, mit den Edits, die sie in die Modellausgabe überführen. Precision ist der Anteil der Modell-Edits, die mit Gold übereinstimmen. Recall ist der Anteil der Gold-Edits, die das Modell gemacht hat. QALB gab F1 an; spätere Arbeiten, auch Kwon et al., nennen zusätzlich F0.5, das Precision doppelt so stark gewichtet wie Recall, weil eine falsche „Korrektur“ Nutzer mehr stört als eine verpasste.

from collections import Counter

def score(sources, golds, hyps, beta=0.5):
    """Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
    tp = fp = fn = 0
    by_class = Counter()
    for s, g, h in zip(sources, golds, hyps):
        G = {e[:3] for e in edits(s, g)}
        H = {e[:3] for e in edits(s, h)}
        tp += len(G & H); fp += len(H - G); fn += len(G - H)
        for e in edits(s, g):
            by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
    p = tp / (tp + fp) if tp + fp else 1.0
    r = tp / (tp + fn) if tp + fn else 1.0
    f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
    recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
              for c in sorted({c for c, _ in by_class})}
    return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}

Auf einem Spielzeug-Set aus zwei Sätzen mit sieben Gold-Edits, bei dem die Ausgabe die Zusammenschreibung und ein Taa marbuta verpasste und einen Punkt ergänzte, gab es P 0.833, R 0.714 und F0.5 0.806 aus, mit Recall pro Klasse: Hamza 2/2, Taa marbuta 2/3, Zusammenschreibung 0/1.

Das ist die M2-Idee, vereinfacht. Der offizielle M2-Scorer sucht die Ausrichtung der System-Edits, die am besten zu Gold passt, sodass eine korrekte Korrektur, die anders als Gold in Edits zerlegt ist, nicht bestraft wird. Unser exakter Abgleich ist strenger. Verwenden Sie den offiziellen Scorer, wenn Sie mit veröffentlichten Zahlen vergleichen (seine Entwicklerversion braucht noch Python 2). ERRANT erledigt dieselbe Edit-Extraktion, aber nur für Englisch.

Bauen Sie das Gold-Set aus echten Nutzertexten, 100 bis 200 Sätze, korrigiert von einer sorgfältigen Annotatorin oder einem Annotator mit denselben Regeln für minimale Edits, die Sie dem Modell gegeben haben. Lassen Sie jedes Kandidatenmodell und jeden Prompt darüber laufen und vergleichen Sie F0.5 und Recall pro Klasse. Wie Sie ein LLM vor dem Wechsel bewerten zeigt, wie Sie diesen Vergleich fair durchführen.

Was ist mit Tibyan und synthetischen Daten?

Gelabelte arabische Korrekturdaten sind knapp. Alrehili und Alhothali weisen darauf hin, dass QALB-14 und QALB-15 zusammen etwa 20.500 parallele Beispiele enthalten. Ihr Tibyan-Korpus (arXiv 2024, später in PeerJ Computer Science) nutzte ChatGPT, um aus Büchern über häufige arabische Fehler Paare aus fehlerhaften und korrekten Sätzen zu erzeugen, die von Linguisten geprüft wurden. Er umfasst etwa 600.000 Tokens mit sieben Fehlertypen: Orthografie, Morphologie, Syntax, Semantik, Zeichensetzung, Zusammenschreibung und Getrenntschreibung. Die Autoren geben an, dass der Korpus öffentlich ist; wir haben keinen Download-Link gefunden, um seine Lizenz zu prüfen. Für Few-Shot-Beispiele und Stresstests ist er nützlich, aber er ist synthetisch, nutzen Sie ihn also nicht als Abnahmetest.

Brauchen Sie eine Baseline ohne LLM, veröffentlicht das Repository arabic-gec von CAMeL Lab Code und Modelle aus Alhafni et al. (EMNLP 2023). Nur für Rechtschreibung schlägt das Paket ar-corrector Wörterbuchwörter mit ein oder zwei Edits Abstand vor; Grammatik behandelt es nicht, und sein letztes Release stammt von 2021.

Welches BroadNet-Modell sollten Sie verwenden?

Preise pro 1 Mio. Tokens laut der Preisseite von BroadNet. Die Ausgabe einer Korrektur ist etwa so lang wie die Eingabe, der Output-Preis zählt also.

Modell Warum Input / Output
Qwen3.8 27B Reasoning dokumentiert; BroadNet meldet Tests auf Arabisch, einschließlich Verständnis von Golf- und ägyptischem Dialekt $0.175 / $2.17
GLM 5.3 Reasoning dokumentiert; langer Kontext für ganze Dokumente $0.78 / $3.46
DeepSeek V4.1 Flash Niedrigster Output-Preis unter den Reasoning-Modellen hier; auch mit pauschalen Session-Plänen $0.175 / $0.52
Gemma 4 VL 26B Läuft mit dem Startguthaben von $5, Sie können die Pipeline also vor der Aufladung bauen $0.10 / $0.22

Lassen Sie den Scorer mit jedem Modell über Ihr Gold-Set laufen und wählen Sie nach F0.5 und Preis. Arabisch braucht pro Wort meist mehr Tokens als Englisch; fügen Sie eine Stichprobe in den Token-Zähler für Arabisch ein und schätzen Sie die Rechnung mit dem Kostenrechner für LLM-APIs. Für das Korrekturlesen eines großen Archivs hat BroadNet keine Batch API; Batch-Verarbeitung ohne Batch API zeigt, wie Sie es mit begrenzter Parallelität ausführen, oder auf einer DeepSeek-Session für $15 pro Woche (jeweils eine Anfrage pro Session).

Wo BroadNet Inference ins Bild passt

BroadRouter ist BroadNets eigene Website. BroadNet Inference bietet OpenAI-kompatiblen Zugriff auf die Modelle oben, der Code läuft also mit dem OpenAI Python SDK, nachdem Sie die Base-URL geändert haben. Es hat keinen Endpoint für Korrekturlesen und veröffentlicht keinen eigenen Benchmark für arabische Korrektur, messen Sie also an Ihrem Text. Laut seiner Datenschutzerklärung werden Inferenzinhalte nicht gespeichert, was zählt, wenn Sie Kundennachrichten korrigieren. Brauchen Sie eine selbst gehostete Korrektur für sehr hohes Volumen, kann ein feinabgestimmtes Modell wie die von CAMeL Lab günstiger und konsistenter sein; die veröffentlichten Werte oben sind der Grund, beides zu testen.

Häufige Fragen

Kann ChatGPT oder ein anderes LLM arabische Grammatik korrigieren?

Ja, mit Einschränkungen. In einem veröffentlichten Test auf dem Benchmark QALB-2014 erreichte GPT-4 mit fünf Beispielen 65,49 F1, knapp unter einem feinabgestimmten AraT5v2 mit 67,70. Verwenden Sie einen Prompt mit minimalen Änderungen, prüfen Sie die Antwort im Code und messen Sie an einer Stichprobe Ihres eigenen Texts.

Was sind die häufigsten Rechtschreibfehler im Arabischen?

Hamza auf dem Alif (انا statt أنا, الى statt إلى), Alif maqsura als Ya geschrieben (مشي statt مشى), Taa marbuta als Ha geschrieben (المدرسه statt المدرسة) und fälschlich getrennte oder zusammengeschriebene Wörter wie و قابلت statt وقابلت. Die QALB-Organisatoren nennen Alifs mit Hamza und die Verwechslung von Alif maqsura und Ya als die häufigsten.

Ist die Normalisierung arabischer Texte dasselbe wie Rechtschreibkorrektur?

Nein. Die Normalisierung führt Schreibvarianten wie أ und ا absichtlich zusammen, damit Suche und Abgleich sie ignorieren. Die Korrektur entscheidet, welche Variante im Kontext richtig ist. Korrigieren Sie den Originaltext und normalisieren Sie nur die Kopie, die Sie für die Suche indexieren.

Wie bewerte ich eine arabische Grammatikkorrektur?

Korrigieren Sie 100 bis 200 echte Sätze von Hand mit minimalen Änderungen. Extrahieren Sie Edits auf Wortebene von der Quelle zum Gold und von der Quelle zur Modellausgabe und zählen Sie übereinstimmende Edits für Precision, Recall und F0.5. Der von QALB verwendete M2-Scorer tut das mit einer klügeren Edit-Ausrichtung.

Gibt es eine Python-Bibliothek zur arabischen Grammatikprüfung?

Nur für Rechtschreibung schlägt ar-corrector Wörterbuchwörter mit ein oder zwei Edits Abstand vor. Für Grammatik veröffentlicht CAMeL Lab Forschungsmodelle und Code für GEC (arabic-gec). Eine LLM-API ist der schnellste Einstieg; ein feinabgestimmtes Modell kann bei hohem Volumen konsistenter sein.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen

Quellen