BroadRouter

RAG auf Arabisch: Normalisierung, Chunking und Retrieval, die wirken

Vom Team von BroadNet Inference · 6 Min. Lesezeit · Veröffentlicht

RAG auf Arabisch funktioniert, wenn Sie den Text vor dem Indexieren normalisieren (Alef-Formen, Ya und Alef maqsura, Ta marbuta vereinheitlichen, Diakritika und Tatweel entfernen), nach Absätzen chunken, ein mehrsprachiges Embedding-Modell mit Stichwortsuche kombinieren und ein LLM mit langem Kontext aus den gefundenen Passagen mit Quellenangaben antworten lassen. Wenden Sie dieselbe Normalisierung auf Suchanfragen an.

A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."

Damit Retrieval-Augmented Generation (RAG) auf Arabisch funktioniert, normalisieren Sie Dokumente und Suchanfragen mit denselben Schreibregeln, chunken nach Absätzen, suchen sowohl mit einem arabischen Stichwort-Analyzer als auch mit einem mehrsprachigen Embedding-Modell und lassen das LLM nur aus den gefundenen Passagen mit Quellenangaben antworten.

Das Muster aus dem ursprünglichen RAG-Paper lautet: erst abrufen, dann generieren. Die meisten Fehler bei arabischem RAG passieren in der ersten Hälfte. Ein Nutzer tippt „الفاتوره“, im Index steht „الفاتورة“; eine Richtlinie sagt „إلغاء“, der Nutzer schreibt „الغاء“; das Embedding-Modell wurde überwiegend mit Englisch trainiert. Bringen Sie das Retrieval in Ordnung, dann erledigt sich der LLM-Teil meist von selbst.

Wie sieht eine RAG-Pipeline für Arabisch aus?

  1. Extrahieren Sie Text aus PDFs, Webseiten und Hilfeartikeln. Für gescannte arabische PDFs siehe Arabische OCR vs. Vision-LLMs.
  2. Normalisieren Sie eine Kopie des Texts für die Indexierung.
  3. Chunken Sie nach Struktur: Überschriften und Absätze.
  4. Indexieren Sie doppelt: ein Stichwortindex und ein Vektorindex.
  5. Rufen Sie mit der normalisierten Anfrage aus beiden ab, führen Sie die Ergebnisse zusammen und ordnen Sie sie neu.
  6. Generieren Sie eine Antwort aus den besten Passagen und zitieren Sie sie.

Wie normalisiert man arabischen Text für die Suche?

Arabisch erlaubt mehrere Schreibweisen desselben Worts, und Nutzer tippen Diakritika oder Hamza selten einheitlich. Normalisieren Sie die indexierte Kopie und jede Anfrage mit derselben Funktion:

Regel Zeichen Warum
Alef vereinheitlichen أ إ آ ٱ → ا Hamza wird beim Tippen oft weggelassen
Alef maqsura ى → ي Häufig beim Tippen in Ägypten und bei lockerer Schreibweise
Ta marbuta ة → ه Nutzer tippen am Wortende ه
Diakritika entfernen U+064B bis U+0652, U+0670 Die meisten Texte und Anfragen sind unvokalisiert
Tatweel entfernen ـ (U+0640) Dekorative Dehnung
Ziffern ٠–٩ → 0–9 Zahlen in beiden Formen finden

Probieren Sie jede Option mit Ihrem eigenen Text im Normalisierer für arabischen Text aus, der auch eine passende Python-Funktion erzeugt.

import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))

Die Codepunkte stehen in der Unicode-Tabelle für Arabisch. Zwei Warnungen:

  • Zeigen Sie nie den normalisierten Text an. Speichern Sie das Original daneben und zeigen, zitieren und senden Sie das Original an das LLM. Normalisiertes Arabisch wirkt auf Leser falsch geschrieben.
  • Manche Zusammenführungen kosten Bedeutung. ة → ه lässt einige Wortpaare zusammenfallen, und ى → ي vereint „على“ (auf) mit „علي“ (Ali). Für den Recall der Suche lohnt sich dieser Tausch meist; testen Sie ihn mit Ihren eigenen Anfragen.

Dieselben Regeln sind zentral, wenn Sie die Genauigkeit arabischer Spracherkennung messen. Sie können also eine Funktion im ganzen Stack wiederverwenden.

Wie chunkt man arabische Dokumente?

  • Nach Struktur trennen. Überschriften, nummerierte Artikel in Verträgen (المادة ١، المادة ٢) und Absatzumbrüche sind natürliche Grenzen.
  • Einige hundert Wörter pro Chunk, mit ein oder zwei Sätzen Überlappung. Arabische Wörter tragen mehr Morpheme als englische, ein Chunk deckt also pro Wort mehr Bedeutung ab, als seine Länge vermuten lässt.
  • Satzgrenzen: Trennen Sie an . ؟ ! und am arabischen Komma ، nur als letztes Mittel. Viele arabische Texte verwenden lange, mit و verbundene Sätze, daher ist das Trennen auf Absatzebene sicherer.
  • Kontext mitgeben. Stellen Sie jedem Chunk den Dokumenttitel und die Abschnittsüberschrift auf Arabisch voran, damit ein Chunk mit „تُطبَّق هذه الرسوم“ (diese Gebühren gelten) noch sagt, welche Gebühren gemeint sind.

Der RAG-Chunking-Rechner rechnet Chunkgröße, Überlappung und Top-k in Chunkanzahl, Tokens pro Anfrage und Monatskosten um.

Warum Stichwortsuche und Embeddings kombinieren?

Stichwortsuche

Die arabische Morphologie hebelt naiven Stichwortabgleich aus: كتاب, الكتاب, بالكتاب, وكتابه und كتب hängen alle mit „Buch“ zusammen. Verwenden Sie einen Analyzer, der mit Arabisch umgehen kann. Elasticsearch liefert einen Analyzer für Arabisch mit, der arabische Stoppwörter, Ziffernnormalisierung, arabische Normalisierung und einen arabischen Stemmer verkettet, sodass Formen mit Präfix wie الكتاب und وكتاب häufiger übereinstimmen. Prüfen Sie an Ihrem eigenen Vokabular, was er zusammenführt, bevor Sie sich darauf verlassen.

Embeddings

Embedding-Modelle bilden Text auf Vektoren ab, sodass Passagen mit ähnlicher Bedeutung nah beieinanderliegen, auch wenn sie kein Wort teilen. Wählen Sie für Arabisch ein mehrsprachiges Modell und testen Sie es:

  • Bevorzugen Sie Modelle, die mit vielen Sprachen trainiert wurden, etwa BGE M3, das laut seinen Autoren mehr als 100 Arbeitssprachen unterstützt. Rein englische Modelle liefern schlechte arabische Vektoren.
  • Testen Sie sprachübergreifendes Retrieval, wenn Nutzer auf Englisch nach arabischen Dokumenten fragen oder umgekehrt.
  • Betten Sie den Original- oder den normalisierten Text ein, aber einheitlich für Dokumente und Anfragen. Testen Sie beides; die Ergebnisse hängen vom Modell ab.

BroadNet Inference bietet keinen Embeddings-Endpoint an: Die dokumentierten Endpoints sind Chat Completions und Audiotranskription. Nutzen Sie einen Embedding-Anbieter Ihres Vertrauens oder betreiben Sie ein offenes mehrsprachiges Embedding-Modell mit einer Vektordatenbank, und verwenden Sie BroadNet für die Generierung. Der Embedding-Kostenrechner berechnet die Kosten für Indexierung und Anfragen bei verschiedenen Anbietern.

Zusammenführen und neu ordnen

Führen Sie beide Suchen aus, verschmelzen Sie die Ergebnisse mit Reciprocal Rank Fusion (jedes Dokument erhält die Summe von 1 / (k + Rang) über alle Listen) und behalten Sie die besten 10 bis 30 Passagen. Ein Reranker oder eine kurze Relevanzprüfung per LLM kann das weiter eingrenzen, aber mit Modellen mit langem Kontext können Sie das oft weglassen.

Wie erzeugt man Antworten mit Quellenangaben?

Geben Sie dem Modell die Passagen mit IDs und bitten Sie es, nur aus ihnen zu antworten:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content

Der arabische System-Prompt lautet übersetzt: „Beantworte die Frage des Nutzers in einfachem modernem Hocharabisch, ausschließlich auf Grundlage der beigefügten Passagen. Nenne nach jeder Information die Nummer der Passage in eckigen Klammern. Wenn du die Antwort in den Passagen nicht findest, sage das deutlich.“ Englische Anweisungen funktionieren genauso gut; entscheidend ist die Regel, nur aus den Passagen zu antworten und zu zitieren.

Stellen Sie die Passagen vor die Frage. Tauchen dieselben Dokumente in vielen Anfragen auf, halten Sie sie in derselben Reihenfolge am Anfang des Prompts, damit der Preis für gecachten Input greift; siehe gecachte Input-Tokens.

Welches Modell?

Modell Kontext Warum
DeepSeek V4.1 Flash 1.048.576 Niedrigster Preis für gecachten Input dieser drei bei BroadNet ($0.0055 pro 1 Mio. Tokens), Platz für viele Passagen, Flatrate-Pläne verfügbar
GLM 5.3 1.048.576 Tools und strukturierte Ausgabe für agentisches Retrieval
Qwen3.8 27B 262.144 Von BroadNet auf Arabisch getestet: flüssiges Schreiben, versteht Golf- und ägyptischen Dialekt

Mit einem Kontext von einer Million Tokens können Sie großzügig abrufen, etwa 50 Passagen statt 5, und das Modell auswählen lassen. Das begrenzt den Schaden, wenn das Retrieval die richtige Passage auf Platz 12 einordnet. Bei kleinen Dokumentbeständen brauchen Sie womöglich gar kein Retrieval; siehe langer Kontext vs. RAG, und prüfen Sie mit dem Kontextfenster-Rechner, ob Ihr Korpus hineinpasst. Die Preise aller Modelle stehen auf der Preisseite.

Wie bewertet man RAG auf Arabisch?

  1. Schreiben Sie 50 bis 100 echte Fragen in der Mischung aus MSA, Dialekt und Englisch, die Ihre Nutzer tatsächlich tippen.
  2. Markieren Sie zu jeder Frage die Passage, die sie beantwortet.
  3. Messen Sie zuerst das Retrieval: Ist die richtige Passage unter den Top 10? Vergleichen Sie nur Stichwortsuche, nur Embeddings und hybrid, jeweils mit und ohne Normalisierung.
  4. Messen Sie dann die Antworten: korrekt, mit Quellenangabe und „nicht gefunden“, wenn die Antwort fehlt.
  5. Nehmen Sie absichtlich falsch geschriebene und Dialekt-Anfragen auf. Nutzer schreiben „وين الفاتوره“ (Golf/Levante: Wo ist die Rechnung?), nicht „أين الفاتورة“.

Bringen Sie das Retrieval in Ordnung, bevor Sie das Generierungsmodell wechseln: Wenn die richtige Passage nie im Prompt ankommt, kann kein Modell sie zitieren.

Häufige Fragen

Bietet BroadNet Inference Embeddings an?

Nein. Die dokumentierten Endpoints sind Chat Completions und Audiotranskription. Nutzen Sie ein Embedding-Modell eines anderen Anbieters oder betreiben Sie selbst ein offenes mehrsprachiges Embedding-Modell, und verwenden Sie BroadNet für den Generierungsschritt.

Sollte ich Ta marbuta zu Ha normalisieren?

Für die Suche meist ja, weil Nutzer beides tippen. Dabei fallen einige unterschiedliche Wörter zusammen, aber der Gewinn an Recall wiegt das in den meisten Korpora auf. Behalten Sie den Originaltext für Anzeige und Quellenangaben.

Wie groß sollten arabische Chunks sein?

Beginnen Sie mit ein bis drei Absätzen, also einigen hundert Wörtern, mit kleiner Überlappung. Trennen Sie an Überschriften und Absatzumbrüchen, nicht mitten im Satz, und geben Sie jedem Chunk den Dokumenttitel mit.

Welches Embedding-Modell eignet sich für Arabisch?

Nehmen Sie ein mehrsprachiges Modell und testen Sie es mit Ihren eigenen arabischen Anfragen. BGE M3 zum Beispiel unterstützt laut seinen Autoren Retrieval in mehr als 100 Arbeitssprachen. Rein englische Embedding-Modelle liefern schlechte arabische Vektoren.

Können Nutzer auf Englisch suchen und arabische Dokumente finden?

Ja, mit einem mehrsprachigen Embedding-Modell, das beide Sprachen in einen gemeinsamen Raum abbildet, oder indem ein LLM die Anfrage vor der Stichwortsuche übersetzt. Testen Sie sprachübergreifende Anfragen gezielt.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen