Im Arabischen lässt sich dasselbe Wort auf mehrere Arten schreiben. Ein Nutzer tippt احمد, im Dokument steht أَحْمَد. Ein Suchindex, der exakte Zeichen vergleicht, verpasst diesen Treffer, und die Keyword-Hälfte einer RAG-Pipeline ebenso. Normalisierung behebt das, indem sie Varianten vor dem Vergleich auf eine Form abbildet. Unbedacht angewendet, verschmilzt sie aber auch Wörter mit unterschiedlicher Bedeutung. Dieser Beitrag geht Regel für Regel vor: was jede bewirkt, wann sie passt, was sie kaputt macht und wie sich die wichtigsten Bibliotheken unterscheiden. Am Ende steht getestetes Python.
Für die vollständige arabische RAG-Pipeline (Chunking, hybride Suche, Antworten mit Quellen) siehe Arabisches RAG, das funktioniert. Dieser Beitrag geht tiefer auf den Normalisierungsschritt ein.
Hilft Normalisierung dem Retrieval wirklich?
Ja, bei Keyword-Suche, und die Belege sind alt, aber eindeutig. Larkey, Ballesteros und Connell (SIGIR 2002) testeten arabisches Retrieval auf der Nachrichtensammlung von TREC-2001. Vor dem Stemming normalisierten sie Korpus und Anfragen: Diakritika und Satzzeichen entfernt, Alif-Formen vereinheitlicht, ى und ة am Wortende abgebildet. Ihre einsprachigen Ergebnisse mit nicht erweiterten Anfragen:
| Verarbeitung | Average Precision | Änderung ggü. Rohtext (aus den gerundeten Werten) |
|---|---|---|
| Rohtext | .194 | — |
| Normalisiert | .238 | +22.7% |
| Normalisiert + Light Stemming (light8) | .376 | +93.8% |
Zwei Einschränkungen. Das ist Keyword-Retrieval auf Nachrichten von 2002, keine Embedding-Suche. Und der größte Gewinn kam vom Light Stemming (Entfernen von Präfixen wie و und ال sowie häufiger Suffixe), einem von der Normalisierung getrennten Schritt. Lucenes ArabicAnalyzer und der Analyzer arabic von Elasticsearch wenden beides an: erst einen Normalisierer, dann einen Light Stemmer.
Was sollten Sie normalisieren, und was kostet jede Regel?
| Regel | Beispiel | Suchindex | Risiko |
|---|---|---|---|
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Ja, immer zuerst | Schreibt auch Kompatibilitätszeichen anderer Schriften um |
| Unsichtbare Zeichen entfernen | Zero-Width-Joiner, RLM/LRM, BOM | Ja | Keins für Arabisch; ZWNJ ist im Persischen wichtig |
| Taschkil entfernen | أَحْمَدُ → أحمد | Ja | Verschmilzt Wörter, die sich nur durch Vokale unterscheiden |
| Tatweel (ـ) entfernen | الـــمدينة → المدينة | Ja | Keins |
| Alif vereinheitlichen | أ إ آ ٱ → ا | Ja | Verschmilzt einige Paare: سأل (fragte) und سال (floss) |
| Alif maqsura | ى → ي | Meistens | Verschmilzt على (auf) und علي (Ali) |
| Taa marbuta | ة → ه | Meistens | Verschmilzt كتابة (Schreiben) und كتابه (sein Buch) |
| Hamza-Träger | ؤ ئ → ء | Optional | Verschmilzt مسؤول und مسئول (gut), aber auch einige unterschiedliche Wörter |
| Persische Buchstaben | ی → ي, ک → ك | Ja, wenn Nutzer persische Tastaturen haben | Keins für arabischen Text |
| Ziffern | ٢٠٢٦ und ۲۰۲۶ → 2026 | Ja | Keins; behalten Sie das Original für die Anzeige |
Die Spalte „Suchindex“ gilt für Indexschlüssel und Anfrage. Der Text, den Sie speichern, anzeigen und an das Modell übergeben, bleibt wie geschrieben.
Warum sollte die Unicode-Normalisierung zuerst kommen?
Derselbe sichtbare Buchstabe kann unterschiedlich gespeichert sein. أ kann ein Codepoint sein (U+0623) oder ein reines Alif gefolgt von einem kombinierenden Hamza (U+0627 U+0654). Ältere PDFs und manche Tastaturen erzeugen arabische Präsentationsformen (U+FB50 bis U+FEFF), etwa das Einzelzeichen Lam-Alif ﻻ. Bei der Unicode-Normalisierung setzt NFC das Hamza auf das Alif, und NFKC löst zusätzlich Präsentationsformen und Ligaturen auf. In Python liefert unicodedata.normalize("NFKC", "ﻻ") لا, und aus ﷲ wird الله.
Führen Sie das vor allem anderen aus. Sonst verfehlt ein regulärer Ausdruck, der أ ersetzt, die zerlegte Form. Es gibt eine zweite Falle: dediac_ar von CAMeL Tools entfernt die Zeichen in seinem AR_DIAC_CHARSET (U+064B bis U+0652 und U+0670). Dieses Set lässt die kombinierenden Zeichen für Hamza und Madda (U+0653 bis U+0655) aus, sodass sie in zerlegtem Text die Entfernung der Diakritika überstehen. NFKC setzt sie vorher zusammen.
NFKC ist eine Kompatibilitätsabbildung. Es ändert auch Zeichen außerhalb des Arabischen, zum Beispiel lateinische Buchstaben in voller Breite. In einem Suchschlüssel wollen Sie das meist, und es ist ein weiterer Grund, das Original daneben zu behalten.
Was sollten Sie nicht normalisieren?
- Den Text, den Sie anzeigen, zitieren oder belegen. Normalisiertes Arabisch sieht falsch geschrieben aus (المدينه). Speichern Sie das Original neben dem Schlüssel.
- Was Sie an das LLM senden. Modelle lesen Hamza und Taschkil problemlos, und exakter Text hält Namen und Zitate korrekt. Das Entfernen von Taschkil spart einige Tokens; prüfen Sie mit dem Token-Zähler für Arabisch, wie viele, bevor Sie dafür Genauigkeit opfern.
- Text, in dem die Zeichen Bedeutung tragen: Koran, Hadith, Lyrik, Kinderbücher, Aussprache- und Diakritisierungsaufgaben (siehe Diakritika per LLM ergänzen).
- Rechtschreib- oder Grammatikkorrektur: Wer vorher normalisiert, löscht genau die Hamza- und Taa-marbuta-Fehler, die behoben werden sollen; siehe Arabische Grammatik- und Rechtschreibkorrektur per LLM.
- Bezeichner. Produktcodes, E-Mail-Adressen, URLs und lateinischer Text dürfen nicht durch arabische Regeln laufen. Normalisieren Sie nur Felder in arabischer Schrift oder nur arabische Tokens.
- Felder, die exakt durchsucht werden. Für Rechtsnamen oder ID-artige Felder indexieren Sie zusätzlich eine Rohkopie, damit ein exakter Treffer weiterhin zuerst erscheint.
Wie unterscheiden sich CAMeL Tools, PyArabic und Lucene?
Sie implementieren nicht dieselben Regeln, und wer sie mischt, bekommt einen Index und Anfragen, die nie zusammenpassen. Wir haben Dokumentation und Quellcode jeder Bibliothek gelesen und PyArabic 0.6.15 ausgeführt:
| Funktion | Was sie tatsächlich tut |
|---|---|
CAMeL normalize_unicode |
NFKC (oder NFC mit compatibility=False); expandiert außerdem ﷼ zu ريال und ﷽ zur vollständigen Formel |
CAMeL normalize_alef_ar |
إ أ ٱ آ → ا |
CAMeL normalize_alef_maksura_ar |
ى → ي |
CAMeL normalize_teh_marbuta_ar |
ة → ه |
CAMeL dediac_ar |
Entfernt U+064B bis U+0652 und U+0670; lässt Tatweel stehen |
PyArabic strip_tashkeel |
Entfernt alle Harakat einschließlich Schadda |
PyArabic strip_tatweel |
Entfernt ـ |
PyArabic normalize_alef |
Jede Alif-Form und ى → ا, aus إلى wird also الا |
PyArabic normalize_hamza |
Die Standardmethode bildet jede Hamza-Form auf ء ab, auch أ, aus أحمد wird also ءحمد |
Lucene ArabicNormalizer |
Alif-Formen mit Hamza → ا, ة → ه, ى → ي, entfernt Harakat und Tatweel |
Die PyArabic-Zeilen überraschen viele. Laut Docstring von normalize_alef ist Alif maqsura eine Ausnahme, aber in 0.6.15 enthält das Set ALEFAT das ى, und die Funktion bildet es auf ا ab. normalize_hamza ist für hamza-unabhängigen Abgleich gebaut, nicht für allgemeine Suche. Auch die Reihenfolge zählt: Führen Sie zuerst die Alif-Normalisierung aus, dann berührt normalize_hamza nur noch ؤ, ئ und ء, sodass مسؤول und مسئول beide zu مسءول werden. Die Methode tasheel liefert stattdessen مسوول und مسيول, die nicht zueinander passen.
Der Filter arabic_normalization von Elasticsearch verwendet den Lucene-Normalisierer; eine Python-Pipeline, die zu einem Elasticsearch-Index passen soll, sollte Lucenes Regeln also exakt übernehmen. Das heißt ى → ي, nicht ى → ا.
Wie sieht ein getesteter Normalisierer aus?
Diese Funktion folgt Lucenes Entscheidungen, ergänzt die Behandlung von Unicode, Ziffern und persischen Buchstaben und macht die riskanten Regeln abschaltbar. Sie nutzt nur die Standardbibliothek.
import re
import unicodedata
DIACRITICS = re.compile("[ً-ٰٟ]") # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[---]") # zero-width, bidi
ALEF = re.compile("[آأإٱ]") # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"}) # ی -> ي, ک -> ك
def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
hamza_seats=False, digits=True):
text = unicodedata.normalize("NFKC", text) # compose marks, unpack ligatures
text = INVISIBLE.sub("", text)
text = DIACRITICS.sub("", text).replace("ـ", "") # tashkeel, tatweel
text = text.translate(FARSI)
if alef:
text = ALEF.sub("ا", text)
if alef_maksura:
text = text.replace("ى", "ي") # ى -> ي
if ta_marbuta:
text = text.replace("ة", "ه") # ة -> ه
if hamza_seats:
text = re.sub("[ؤئ]", "ء", text) # ؤ ئ -> ء
if digits:
text = text.translate(DIGITS)
return text
Was sie für unsere Teststrings zurückgab:
| Eingabe | Ausgabe | Hinweis |
|---|---|---|
| أَحْمَدُ | احمد | Taschkil und Hamza entfernt |
| الـــمدينة | المدينه | Tatweel und Taa marbuta |
| إلى | الي | Alif und Alif maqsura |
| ا + U+0654 + مل | امل | Zerlegtes Hamza zusammengesetzt, dann vereinheitlicht |
| ﻻبد | لابد | Präsentationsform aufgelöst |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Arabisch-indische und persische Ziffern |
| مسؤول / مسئول | Beide مسءول mit hamza_seats=True |
Standardmäßig unverändert |
| فارسی | فارسي | Persisches Ya |
Verwenden Sie sie an zwei Stellen: beim Bauen des Indexschlüssels und beim Einlesen einer Anfrage. Speichern Sie original und normalize(original) nebeneinander, suchen Sie auf dem zweiten und geben Sie das erste zurück. Mit dem kostenlosen Normalisierer für arabischen Text können Sie Text einfügen und die Wirkung jeder Regel sehen, bevor Sie Ihre Einstellungen wählen.
Wie passt Normalisierung zu Embeddings und RAG?
Eine RAG-Pipeline hat meist zwei Retriever: Keyword-Suche (BM25) und Embeddings. Der Keyword-Seite hilft die Normalisierung eindeutig. Für die Embedding-Seite gelten die Belege oben nicht: Embedding-Modelle werden auf Rohtext trainiert, und viele legen احمد und أحمد bereits nah beieinander ab. Normalisierung vor dem Embedding kann helfen, nichts bewirken oder schaden. Bauen Sie 50 bis 100 echte Anfragen mit bekannten Antworten, führen Sie sie mit roher und normalisierter Eingabe aus und behalten Sie die Variante mit dem höheren Recall. Was auch immer Sie wählen, wenden Sie es auf Dokumente und Anfragen identisch an.
Normalisierung senkt auch die Token-Zahl leicht, weil Diakritika und Tatweel für den Tokenizer zusätzliche Zeichen sind. Gemessene Verhältnisse finden Sie im Datensatz zur Tokenizer-Effizienz und unter Tokens pro Wort auf Arabisch. Dieselbe Normalisierung wird verwendet, um Spracherkennung fair zu bewerten; siehe Arabische WER erklärt.
Arabizi (Arabisch in lateinischen Buchstaben) braucht einen ganz anderen Ansatz: Wie LLMs mit Arabizi umgehen.
Wo BroadNet Inference ins Bild passt
Die Normalisierung läuft in Ihrem eigenen Code, dafür ist keine API nötig. BroadNet Inference kommt nach dem Retrieval ins Spiel. Es verkauft keine Embeddings; kombinieren Sie also einen Retriever und einen Embedding-Anbieter Ihrer Wahl mit einem Chat-Modell von BroadNet für den Antwortschritt. GLM 5.3 und DeepSeek V4.1 Flash nehmen 1.048.576 Tokens Kontext auf, Sie können also viele abgerufene Passagen in ihrem ursprünglichen, nicht normalisierten Arabisch übergeben. Zur Modellwahl nach arabischer Qualität siehe Das richtige LLM für Arabisch wählen. Brauchen Sie nur Keyword-Suche, genügt vielleicht schon der eingebaute Analyzer arabic von Elasticsearch.
