Ein Modell kann in arabischen Benchmarks gut abschneiden und trotzdem an einer Sprachnachricht aus Riad oder einer Chatnachricht aus Casablanca scheitern. Das sind Dialekte, und sie sind ein anderer Test als modernes Hocharabisch (MSA).
So funktioniert es
Bouamor et al. (2018), die das MADAR-Korpus aufgebaut haben, beschreiben Arabisch als „a family of varieties“ (Übersetzung: „eine Familie von Varietäten“). MSA ist die gemeinsame Sprache von Kultur, Medien und Bildung „from Morocco to Oman“ (Übersetzung: „von Marokko bis Oman“), aber für niemanden Muttersprache. Dialekte werden meist regional gruppiert, als Ägyptisch, Nordafrikanisch, Levantinisch, Golf-Arabisch und Jemenitisch, oder subregional, als Tunesisch, Libanesisch, Kuwaitisch und so weiter. Sie weichen vom MSA in Lauten, Wortschatz und Morphologie ab und in geringerem Maß auch von Stadt zu Stadt.
Drei Unterschiede zählen für Software am meisten:
- Laute. Das Beispiel von MADAR ist der Buchstabe Qaf (ق). Im tunesischen Arabisch bleibt er /q/, nah am MSA; im ägyptischen und levantinischen Arabisch ist er ein Knacklaut; im Golf-Arabisch ist er /g/. Sprachmodelle müssen alle drei auf dasselbe geschriebene Wort zurückführen.
- Wörter. Alltagswörter unterscheiden sich. „Ich will“ heißt أريد im MSA, عايز auf Ägyptisch, بدي auf Levantinisch, أبي oder أبغى im Golf-Arabisch und بغيت im marokkanischen Arabisch.
- Schreibung. MADAR weist darauf hin, dass MSA eine Standardorthografie hat, die Dialekte aber nicht. Man schreibt nach Gehör oder nach Etymologie, manchmal auch in lateinischen Buchstaben als Arabizi. Sprecher mischen außerdem Englisch oder Französisch ein; das ist Code-Switching.
Dialekt wird auch zunehmend geschrieben. MADAR nennt ihn die aufkommende primäre Schriftsprache der informellen Online-Kommunikation. NADI 2020 baute einen Shared Task aus Tweets auf, die 100 Provinzen in 21 arabischen Ländern abdecken.
Warum es wichtig ist
- Chat- und Support-Bots. Nutzer schreiben, wie sie sprechen. Intent-Regeln, Stichwortsuche und Sentiment-Modelle, die auf MSA trainiert sind, übersehen Dialektwörter. Siehe Golf- und ägyptische Dialekte mit LLMs.
- Speech-to-Text. Dialekt-Audio schneidet mit demselben Modell weit schlechter ab als vorgelesenes MSA. Bauen Sie pro Dialekt ein Testset auf, wie der Beitrag zur Spracherkennung von Dialekten erklärt.
- Routing. Wenn Antworten, Prüfer oder Prompts je nach Region abweichen, bestimmen Sie den Dialekt zuerst mit arabischer Dialekterkennung.
Bei BroadNet Inference
BroadNet führt BroadNet Transcribe Arabic für Golf-Arabisch, Ägyptisch, Levantinisch, Maghrebinisch und modernes Hocharabisch. BroadNet berichtet eine Wortfehlerrate von 3,8 bei vorgelesener Sprache aus FLEURS-ar und 23,4 auf seinem eigenen Dialekt-Set aus Golf-Arabisch, Ägyptisch und Levantinisch, beides Messungen von BroadNet. Die Differenz ist der Dialekteffekt. Senden Sie für alle language=ar; die Dokumentation von BroadNet warnt, dass Arabisch sonst in lateinische Buchstaben transliteriert zurückkommen kann.
Für Text berichtet BroadNet, Qwen3.8 27B auf Arabisch getestet zu haben, wobei Golf-Arabisch und ägyptische Dialekte verstanden wurden. Für levantinischen oder maghrebinischen Text veröffentlicht BroadNet kein Ergebnis; testen Sie diese also mit Ihren eigenen Nachrichten. Der Leitfaden zu LLMs für Arabisch vergleicht die Modelle, und der Leitfaden zu arabischem Speech-to-Text enthält funktionierenden Code.
Häufige Fehler
- Nur mit MSA-Nachrichtentexten testen und dann an Nutzer ausliefern, die im Dialekt schreiben.
- Die WER über alle Dialekte mitteln, was den schwächsten verdeckt.
- Dialektschreibungen in dem Text, den Nutzer sehen, auf MSA normalisieren.