BroadRouter

Arabische Dialekte (Dialectal Arabic)

Aktualisiert

Dialektales Arabisch ist das gesprochene Alltagsarabisch einer Region oder Stadt, etwa Ägyptisch, Golf-Arabisch, Levantinisch oder Maghrebinisch. Dialekte unterscheiden sich vom modernen Hocharabisch in Lauten, Wörtern und Grammatik, haben keine Standardschreibung und werden online zunehmend geschrieben, was sie für Sprachmodelle schwieriger macht.

Auch genannt: arabische Dialekte, dialektales Arabisch, arabischer Dialekt, umgangssprachliches Arabisch, Golf-Arabisch, ägyptisches Arabisch, levantinisches Arabisch, maghrebinisches Arabisch, Khaleeji, Arabic dialects, Arabic dialect, colloquial Arabic, Gulf Arabic, Egyptian Arabic, Levantine Arabic, Maghrebi Arabic

Ein Modell kann in arabischen Benchmarks gut abschneiden und trotzdem an einer Sprachnachricht aus Riad oder einer Chatnachricht aus Casablanca scheitern. Das sind Dialekte, und sie sind ein anderer Test als modernes Hocharabisch (MSA).

So funktioniert es

Bouamor et al. (2018), die das MADAR-Korpus aufgebaut haben, beschreiben Arabisch als „a family of varieties“ (Übersetzung: „eine Familie von Varietäten“). MSA ist die gemeinsame Sprache von Kultur, Medien und Bildung „from Morocco to Oman“ (Übersetzung: „von Marokko bis Oman“), aber für niemanden Muttersprache. Dialekte werden meist regional gruppiert, als Ägyptisch, Nordafrikanisch, Levantinisch, Golf-Arabisch und Jemenitisch, oder subregional, als Tunesisch, Libanesisch, Kuwaitisch und so weiter. Sie weichen vom MSA in Lauten, Wortschatz und Morphologie ab und in geringerem Maß auch von Stadt zu Stadt.

Drei Unterschiede zählen für Software am meisten:

  • Laute. Das Beispiel von MADAR ist der Buchstabe Qaf (ق). Im tunesischen Arabisch bleibt er /q/, nah am MSA; im ägyptischen und levantinischen Arabisch ist er ein Knacklaut; im Golf-Arabisch ist er /g/. Sprachmodelle müssen alle drei auf dasselbe geschriebene Wort zurückführen.
  • Wörter. Alltagswörter unterscheiden sich. „Ich will“ heißt أريد im MSA, عايز auf Ägyptisch, بدي auf Levantinisch, أبي oder أبغى im Golf-Arabisch und بغيت im marokkanischen Arabisch.
  • Schreibung. MADAR weist darauf hin, dass MSA eine Standardorthografie hat, die Dialekte aber nicht. Man schreibt nach Gehör oder nach Etymologie, manchmal auch in lateinischen Buchstaben als Arabizi. Sprecher mischen außerdem Englisch oder Französisch ein; das ist Code-Switching.

Dialekt wird auch zunehmend geschrieben. MADAR nennt ihn die aufkommende primäre Schriftsprache der informellen Online-Kommunikation. NADI 2020 baute einen Shared Task aus Tweets auf, die 100 Provinzen in 21 arabischen Ländern abdecken.

Warum es wichtig ist

  • Chat- und Support-Bots. Nutzer schreiben, wie sie sprechen. Intent-Regeln, Stichwortsuche und Sentiment-Modelle, die auf MSA trainiert sind, übersehen Dialektwörter. Siehe Golf- und ägyptische Dialekte mit LLMs.
  • Speech-to-Text. Dialekt-Audio schneidet mit demselben Modell weit schlechter ab als vorgelesenes MSA. Bauen Sie pro Dialekt ein Testset auf, wie der Beitrag zur Spracherkennung von Dialekten erklärt.
  • Routing. Wenn Antworten, Prüfer oder Prompts je nach Region abweichen, bestimmen Sie den Dialekt zuerst mit arabischer Dialekterkennung.

Bei BroadNet Inference

BroadNet führt BroadNet Transcribe Arabic für Golf-Arabisch, Ägyptisch, Levantinisch, Maghrebinisch und modernes Hocharabisch. BroadNet berichtet eine Wortfehlerrate von 3,8 bei vorgelesener Sprache aus FLEURS-ar und 23,4 auf seinem eigenen Dialekt-Set aus Golf-Arabisch, Ägyptisch und Levantinisch, beides Messungen von BroadNet. Die Differenz ist der Dialekteffekt. Senden Sie für alle language=ar; die Dokumentation von BroadNet warnt, dass Arabisch sonst in lateinische Buchstaben transliteriert zurückkommen kann.

Für Text berichtet BroadNet, Qwen3.8 27B auf Arabisch getestet zu haben, wobei Golf-Arabisch und ägyptische Dialekte verstanden wurden. Für levantinischen oder maghrebinischen Text veröffentlicht BroadNet kein Ergebnis; testen Sie diese also mit Ihren eigenen Nachrichten. Der Leitfaden zu LLMs für Arabisch vergleicht die Modelle, und der Leitfaden zu arabischem Speech-to-Text enthält funktionierenden Code.

Häufige Fehler

  • Nur mit MSA-Nachrichtentexten testen und dann an Nutzer ausliefern, die im Dialekt schreiben.
  • Die WER über alle Dialekte mitteln, was den schwächsten verdeckt.
  • Dialektschreibungen in dem Text, den Nutzer sehen, auf MSA normalisieren.

Häufige Fragen

Welchen Sprachcode sende ich für Dialekt-Audio?

Senden Sie ar. Die Dokumentation von BroadNet verlangt language=ar für arabisches Audio, und BroadNet führt Transcribe Arabic unter diesem einen Modell für Golf-Arabisch, Ägyptisch, Levantinisch, Maghrebinisch und modernes Hocharabisch.

Soll das Modell im Dialekt oder auf MSA antworten?

Entscheiden Sie das pro Produkt und legen Sie es im System-Prompt fest. Viele Assistenten lesen Dialekt und antworten in einfachem MSA oder im Dialekt des Nutzers; testen Sie, was Ihre Nutzer bevorzugen.

Wie viele arabische Dialekte gibt es?

Eine feste Zahl gibt es nicht. Dialekte werden regional (Ägyptisch, Nordafrikanisch, Levantinisch, Golf, Jemenitisch) oder subregional gruppiert. Allein MADAR umfasst 25 Stadtdialekte.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen