BroadRouter

Arabizi und LLMs: Franco-Arabisch mit Ziffern wie 3 und 7 verarbeiten

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht · Aktualisiert

Arabizi, auch Franco-Arabisch genannt, ist Arabisch in lateinischen Buchstaben mit Ziffern für Laute, die das lateinische Alphabet nicht hat: 3 für ع, 7 für ح, 2 für ء, 5 für خ. LLMs verstehen es meist, wandeln es aber uneinheitlich um. Erkennen Sie es, lassen Sie das Modell mit Angabe des Dialekts in arabische Schrift transliterieren und verarbeiten Sie dann den arabischen Text.

Arabizi, auch Franco-Arabisch oder „Franco“ genannt, ist Arabisch in lateinischen Buchstaben, mit Ziffern für Laute, die das lateinische Alphabet nicht hat, etwa 3 für ع und 7 für ح. Um es mit einem LLM zu verarbeiten, erkennen Sie es, lassen das Modell es unter Angabe des Dialekts in arabische Schrift umwandeln und lassen den Rest Ihrer Pipeline auf dem arabischen Text laufen.

„ana 3ayez a7gez ma3ad bokra“ ist in Ägypten eine ganz normale Kundennachricht: „أنا عايز أحجز ميعاد بكرة“ (Ich möchte morgen einen Termin buchen). Arabizi entstand auf Telefonen und Computern ohne arabische Tastatur und taucht im Chat bis heute auf.

Welche Ziffern stehen für welche arabischen Buchstaben?

Einen Standard gibt es nicht, aber Ziffern werden für arabische Buchstaben verwendet, die ihnen ähnlich sehen oder keine lateinische Entsprechung haben. Der Überblick zum arabischen Chat-Alphabet listet die gängigen Konventionen:

Ziffer Arabischer Buchstabe Beispiel Arabische Schrift Bedeutung
2 ء (Hamza) / أ so2al سؤال Frage
3 ع 3arabi عربي arabisch
3’ oder 8 غ 8aly / 3’aly غالي teuer
5 oder kh خ 5alas خلاص fertig / genug
6 ط 6ayeb طيب okay (Golf)
7 ح 7abibi حبيبي mein Lieber
9 ص 9ba7 صباح Morgen (Golf)
8 ق (in manchen Regionen) 8alb قلب Herz

Die regionalen Gewohnheiten unterscheiden sich. Der Überblick merkt zum Beispiel an, dass 8 für غ nur im Libanon verwendet wird, während 8 und 9 für ق in Saudi-Arabien verbreitet sind; im ägyptischen Arabizi kann 2 für ق stehen, wo dieses als Kehlkopfverschlusslaut ausgesprochen wird. Vokale werden nach Gehör geschrieben, sodass „ma3lesh“, „ma3lsh“ und „m3lsh“ (معلش, macht nichts) alle dasselbe Wort sind.

Warum ist Arabizi für Software schwierig?

  • Es ist fast immer Dialekt. Menschen schreiben Arabizi so, wie sie sprechen; es bringt also alle Dialektprobleme auf einmal mit, ohne arabische Schrift als Anker.
  • Es sieht aus wie Englisch oder Französisch. „bas“ ist auf Arabisch بس (aber / nur) und auf Englisch nichts; „men“ ist من (von / wer). Keyword-Detektoren und Tools zur Spracherkennung labeln Arabizi oft als Englisch oder eine andere Sprache in lateinischer Schrift.
  • Keine Standardschreibung. Suche mit exakter Übereinstimmung, Intent-Regeln und Analysen brechen.
  • Code-Switching. „el order bta3i lessa ma waslsh, can u check?“ mischt ägyptisches Arabizi und Englisch in einem Satz.

Regelbasierte Konverter tun sich schwer, weil eine lateinische Zeichenkette vielen arabischen Schreibungen entsprechen kann. Forschungssysteme wie die Arbeit von Darwish zur Erkennung und Umwandlung von Arabizi kombinierten Transliterations-Mining mit Sprachmodellierung, um das richtige Wort zu wählen, und meldeten 88,7 % Genauigkeit bei der Umwandlung. Moderne LLMs erledigen das praktisch in einem Schritt.

Wie gut verarbeiten LLMs Arabizi?

Große Modelle haben Arabizi in Web- und Social-Media-Texten gesehen und verstehen häufige Wendungen daher oft. Die Ergebnisse schwanken je nach Modell und Dialekt; testen Sie also, bevor Sie sich darauf verlassen. Typische Fehlermuster:

  1. Es als Englisch behandeln und auf eine falsch gelesene Nachricht antworten.
  2. In den falschen Dialekt umwandeln, etwa Ägyptisch in MSA-Wörter „übersetzen“, die den Ton verändern, oder Golf-Dialekt raten, wo der Nutzer Libanese ist.
  3. Uneinheitliche Ausgabeschrift: auf eine Nachricht in Arabizi antworten und auf die nächste in arabischer Schrift.
  4. Halluzinierte Genauigkeit bei Namen und Orten, deren lateinische Schreibung mehrdeutig ist.

Die Lösung ist dieselbe wie bei Dialekten allgemein: Sagen Sie dem Modell, was es erwarten und was es erzeugen soll.

Wie wandelt man Arabizi per LLM in arabische Schrift um?

Wandeln Sie Arabizi zuerst in arabische Schrift um und lassen Sie dann den Rest Ihrer Pipeline (Suche, Routing, Antworten) auf dem arabischen Text laufen. So bleibt es bei einem Codepfad, und Suche und Analysen funktionieren.

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

Ein gutes Ergebnis:

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

Hinweise zu diesem Aufbau:

  • Dialektwörter behalten. Die Vorgabe „the message in Arabic script, keeping the dialect words“ (die Nachricht in arabischer Schrift, mit den Dialektwörtern) verhindert, dass sie stillschweigend in MSA umgeschrieben wird, was für Routing und Sentiment Bedeutung kosten würde.
  • Das Original behalten. Speichern Sie die Rohnachricht neben der Umwandlung, für Audits und um Regeln nachzuschärfen.
  • Einen günstigen Vorfilter nutzen. Eine einfache Prüfung (lateinische Buchstaben plus die Ziffern 2, 3, 5, 6, 7, 8 oder 9 innerhalb von Wörtern, wie im Regex unten) erkennt das meiste Arabizi, bevor Sie einen LLM-Aufruf ausgeben. Rein arabische oder rein englische Nachrichten können die Umwandlung überspringen. Für eine strengere Ausgabe verwenden Sie strukturierte Ausgabe mit einem Schema.
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

Der Hinweis übersieht Arabizi ohne Ziffern („ana mesh fahem“, ich verstehe nicht) und schlägt bei Produktcodes wie „a7x“ an; behandeln Sie ihn als Kostensparer, nicht als Klassifikator. Die eigentliche Entscheidung trifft das Feld script des LLM.

In welcher Schrift sollte die Antwort sein?

Entscheiden Sie pro Produkt, nicht pro Nachricht:

Antwort in Wann
Arabischer Schrift (MSA oder leichter Dialekt) Standard für die meisten Unternehmen; für alle lesbar
Englisch Wenn Ihre Supportsprache Englisch ist oder der Kunde überwiegend Englisch eingemischt hat
Arabizi Marken mit junger Zielgruppe, die sich dem Stil des Kunden anpassen wollen; Stichproben von Muttersprachlern prüfen lassen

Arabizi automatisch zu spiegeln, erzeugt meist Schreibungen, die Muttersprachlern seltsam vorkommen, weil es keinen Standard gibt, dem man folgen könnte. Wenn Sie es doch spiegeln, geben Sie dem Modell Beispiele Ihrer bevorzugten Schreibungen. Mehr zum Festlegen von Register und Schrift unter Prompt Engineering für Arabisch.

Welches Modell sollten Sie für Arabizi verwenden?

Sammeln Sie 50 bis 100 echte Arabizi-Nachrichten aus Ihren Kanälen, schreiben Sie zu jeder die korrekte Version in arabischer Schrift und den Intent auf und bewerten Sie die Kandidatenmodelle zuerst nach Intent-Genauigkeit und dann nach Umwandlungsqualität. BroadNet berichtet, dass Qwen3.8 27B in seinen Tests Golf- und ägyptischen Dialekt verstand und flüssiges Arabisch schrieb; ein eigenes Ergebnis zu Arabizi hat es nicht veröffentlicht, testen Sie es also mit Ihren Nachrichten. DeepSeek V4.1 Flash ist pro Output-Token günstiger, und BroadNet Gemma 4 VL 26B ist das günstigste BroadNet-Modell für einen Vorklassifizierungsschritt bei hohem Volumen. Die Preise stehen auf der Preisseite. Arabizi in lateinischer Schrift und arabische Schrift werden unterschiedlich tokenisiert; fügen Sie also beide Versionen einiger Nachrichten in den kostenlosen Token-Zähler ein, bevor Sie Kosten schätzen.

Wo taucht Arabizi auf?

  • WhatsApp und Direktnachrichten in sozialen Netzwerken: die Hauptquelle. Siehe Architektur eines arabischen WhatsApp-Chatbots.
  • Suchfelder: Nutzer tippen „7agz“ (حجز, Buchung). Normalisieren Sie Suchanfragen mit demselben Schritt vor dem Retrieval für arabisches RAG.
  • Nicht aus Speech-to-Text, wenn Sie die Sprache mitsenden. Arabizi wird von Menschen getippt. Kommt ein Transkript arabischen Audios in lateinischen Buchstaben zurück, fehlt der Anfrage wahrscheinlich language=ar; die Docs von BroadNet warnen, dass Arabisch sonst transliteriert werden kann. Siehe den Leitfaden für WhatsApp-Sprachnachrichten.

Häufige Fragen

Ist Arabizi dasselbe wie Franco-Arabisch?

Ja. Arabizi, Franco-Arabisch, Franco und arabisches Chat-Alphabet bezeichnen alle dieselbe Praxis, Arabisch mit lateinischen Buchstaben und Ziffern zu schreiben. Die Namen unterscheiden sich je nach Land; „Franco“ ist in Ägypten verbreitet.

Soll mein Chatbot auf Arabizi antworten?

Meist nicht. Antworten Sie in arabischer Schrift oder auf Englisch, passend zu Ihrer Marke. Manche Marken mit junger Zielgruppe antworten auf Arabizi; lassen Sie dann Muttersprachler prüfen, ob die Schreibung natürlich wirkt.

Kann ein regulärer Ausdruck Arabizi in Arabisch umwandeln?

Nicht zuverlässig. Vokale werden beliebig weggelassen oder hinzugefügt, und dieselben lateinischen Buchstaben entsprechen je nach Kontext verschiedenen arabischen Buchstaben. Regeln helfen bei der Erkennung; für die Umwandlung braucht es ein Sprachmodell.

Was bedeutet die 3 in arabischen Chatnachrichten?

In Arabizi steht die 3 für den Buchstaben ع (Ain), etwa in „3arabi“ für عربي (arabisch). Weitere häufige Ziffern sind 2 für ء, 5 für خ, 7 für ح und 9 für ص.

Warum kam meine Transkription in lateinischen Buchstaben zurück?

Das ist eine Transliteration durch das Sprachmodell, kein von Nutzern getipptes Arabizi. Senden Sie bei jeder arabischen Transkriptionsanfrage language=ar, um arabische Schrift zu erhalten.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen