BroadRouter
Loslegen

Arabische Dialekterkennung (dialect identification)

Aktualisiert

Arabische Dialekterkennung ist die Aufgabe, festzustellen, in welcher arabischen Varietät ein Text oder eine Aufnahme vorliegt, etwa Ägyptisch, Golf-Arabisch, Levantinisch, Maghrebinisch oder modernes Hocharabisch, auf Ebene von Region, Land oder Stadt. Man nutzt sie, um Nachrichten weiterzuleiten, Prompts auszuwählen und Testsets aufzuteilen.

Auch genannt: Dialekterkennung, Dialektidentifikation, arabische Dialektklassifikation, Arabic dialect identification, dialect identification, dialect detection, ADI, NADI

Bevor Sie einem Nutzer in seinem Dialekt antworten können, müssen Sie wissen, in welchem Dialekt er geschrieben hat. Genau das ist Dialekterkennung.

So funktioniert es

Die Forschung misst das über die NADI Shared Tasks (Nuanced Arabic Dialect Identification). NADI 2020 nutzte Tweets aus 100 Provinzen in 21 arabischen Ländern, mit einer Teilaufgabe auf Länderebene und einer auf Provinzebene. NADI 2024 definierte Dialekterkennung als Multi-Label-Aufgabe, weil ein Satz in mehreren Dialekten gültig sein kann, und ergänzte eine Teilaufgabe zum Grad der Dialektalität. Das beste System in Teilaufgabe 1 erreichte 50,57 F1, und die Organisatoren schreiben, dass Dialekterkennung schwierig bleibt.

Das MADAR-Korpus (Bouamor et al., 2018) ist eine verbreitete Ressource: dieselben Sätze aus dem Reisebereich, übersetzt in die Dialekte von 25 Städten. 2.000 Sätze gibt es in allen 25, weitere 10.000 für Doha, Beirut, Kairo, Tunis und Rabat. Mit solchen parallelen Daten sieht man, wie dieselbe Bedeutung an jedem Ort geschrieben wird.

In der Praxis brauchen die meisten Produkte ein gröberes Label. Ein brauchbares Set:

Label Umfasst
msa Modernes Hocharabisch
gulf Saudisch, Emiratisch, Kuwaitisch, Katarisch, Bahrainisch, Omanisch
egyptian Ägyptisch
levantine Syrisch, Libanesisch, Jordanisch, Palästinensisch
maghrebi Marokkanisch, Algerisch, Tunesisch, Libysch
other_or_unclear Irakisch, Jemenitisch, Sudanesisch, gemischt oder zu kurz

Ein LLM-Prompt dafür verlangt ein einziges JSON-Objekt: das Label, eine Konfidenz und die Wörter, die den Dialekt verraten haben. Die Nachricht عايز أغير الباقة käme zum Beispiel so zurück:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

Die Frage nach den Hinweiswörtern macht Fehler leicht überprüfbar: Ist das Hinweiswort ein hocharabisches Wort, ist das Label verdächtig.

Warum es wichtig ist

  • Routing. Kunden vom Golf an Agenten vom Golf weiterleiten oder den Antwort-Prompt auf den Dialekt des Nutzers umstellen.
  • Evaluierung. Sprach- und Chat-Testsets nach Dialekt aufteilen. Ein einzelner Durchschnitt verdeckt die schwächste Gruppe, wie der Beitrag zur Spracherkennung arabischer Dialekte zeigt.
  • Analytics. Wissen, welche Dialekte Ihre Nutzer tatsächlich schreiben, bevor Sie in einen investieren.

Gemischte Nachrichten sind häufig. Nutzer wechseln in einer Zeile zwischen Dialekt, Hocharabisch und Englisch; das ist Code-Switching. Behalten Sie ein Label „unklar“, statt eine Vermutung zu erzwingen.

Bei BroadNet Inference

BroadNet hat keinen Endpoint für Dialekterkennung. Sie können einen auf POST /v1/chat/completions aufbauen. Die API-Referenz von BroadNet dokumentiert strukturierte Ausgabe für GLM 5.3 und Qwen3.8 27B, was zu einer festen Labelliste passt; siehe strukturierte Ausgabe. BroadNet berichtet, Qwen3.8 27B getestet zu haben, wobei golf-arabische und ägyptische Dialekte verstanden wurden. BroadNet veröffentlicht für kein Modell eine Genauigkeit der Dialekterkennung; labeln Sie also etwa 100 Ihrer eigenen Nachrichten von Hand und messen Sie das Modell daran, bevor Sie sich darauf verlassen.

Der Beitrag zur Klassifikation arabischer Texte behandelt Prompts, Labellisten und Bewertung für diese Art von Aufgabe, und arabische Dialekte erklärt, was die Labels bedeuten.

Häufige Fragen

Wie genau ist arabische Dialekterkennung?

Das hängt von der Granularität und der Textlänge ab. Bei NADI 2024 erreichte das beste System 50,57 F1 in der Multi-Label-Dialekterkennung, und die Organisatoren folgern, dass die Aufgabe schwierig bleibt. Labels auf Regionsebene bei längeren Nachrichten sind einfacher als Länder- oder Stadtlabels bei kurzen.

Kann eine Nachricht mehr als einen Dialekt enthalten?

Ja. Kurze oder neutrale Sätze können in mehreren Dialekten gültig sein; deshalb hat NADI 2024 die Dialekterkennung als Multi-Label-Aufgabe definiert. Lassen Sie eine Antwort „unklar“ oder mehrere Labels zu.

Brauche ich einen eigenen Klassifikator?

Für den Anfang nicht. Ein LLM mit fester Labelliste ist schnell eingerichtet. Messen Sie es an einer von Hand gelabelten Stichprobe; wechseln Sie zu einem trainierten Klassifikator, wenn Volumen oder Genauigkeit es verlangen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen