Un modèle peut obtenir de bons scores aux benchmarks en arabe et trébucher sur un message vocal de Riyad ou un message de chat de Casablanca. Ce sont des dialectes, et ils constituent un autre test que l’arabe standard moderne (ASM).
Comment ça marche
Bouamor et al. (2018), qui ont construit le corpus MADAR, décrivent l’arabe comme « a family of varieties » (traduction : « une famille de variétés »). L’ASM est la langue commune de la culture, des médias et de l’enseignement « from Morocco to Oman » (traduction : « du Maroc à Oman »), mais ce n’est la langue maternelle de personne. Les dialectes sont généralement regroupés par région (égyptien, nord-africain, levantin, golfe et yéménite) ou par sous-région (tunisien, libanais, koweïtien, etc.). Ils diffèrent de l’ASM par les sons, le vocabulaire et la morphologie, et dans une moindre mesure d’une ville à l’autre.
Trois différences comptent le plus pour un logiciel :
- Les sons. L’exemple de MADAR est la lettre qaf (ق). En arabe tunisien, elle reste /q/, proche de l’ASM ; en égyptien et en levantin, c’est un coup de glotte ; en arabe du Golfe, c’est /g/. Les modèles de parole doivent ramener les trois au même mot écrit.
- Les mots. Les mots du quotidien diffèrent. « Je veux » se dit أريد en ASM, عايز en égyptien, بدي en levantin, أبي ou أبغى en arabe du Golfe et بغيت en arabe marocain.
- L’orthographe. MADAR note que l’ASM a une orthographe standard, mais pas les dialectes. On écrit d’après le son ou l’étymologie, parfois en lettres latines, en arabizi. Les locuteurs mélangent aussi de l’anglais ou du français : c’est le code-switching.
Le dialecte s’écrit aussi de plus en plus. MADAR y voit la langue écrite principale émergente de la communication informelle en ligne. NADI 2020 a construit une tâche partagée à partir de tweets couvrant 100 provinces de 21 pays arabes.
Pourquoi c’est important
- Chatbots et bots de support. Les utilisateurs écrivent comme ils parlent. Les règles d’intention, la recherche par mots-clés et les modèles de sentiment entraînés sur l’ASM ratent les mots dialectaux. Voir les dialectes du Golfe et égyptien avec les LLM.
- Speech-to-text. Avec le même modèle, l’audio en dialecte obtient de bien moins bons scores que de l’ASM lu. Constituez un jeu de test par dialecte, comme l’explique l’article sur la reconnaissance vocale des dialectes.
- Routage. Si les réponses, les relecteurs ou les prompts varient selon la région, étiquetez d’abord le dialecte grâce à l’identification des dialectes arabes.
Sur BroadNet Inference
BroadNet propose BroadNet Transcribe Arabic pour l’arabe du Golfe, égyptien, levantin, maghrébin et l’arabe standard moderne. BroadNet annonce un taux d’erreur sur les mots de 3,8 sur la parole lue de FLEURS-ar et de 23,4 sur son propre jeu de dialectes du Golfe, égyptien et levantin, deux mesures de BroadNet. L’écart est l’effet dialecte. Envoyez language=ar pour tous ; la documentation de BroadNet prévient que l’arabe peut sinon revenir translittéré en lettres latines.
Pour le texte, BroadNet indique avoir testé Qwen3.8 27B en arabe, avec une bonne compréhension des dialectes du Golfe et égyptien. BroadNet ne publie pas de résultat pour le texte levantin ou maghrébin : testez-les avec vos propres messages. Le guide des LLM pour l’arabe compare les modèles, et le guide speech-to-text en arabe contient du code fonctionnel.
Erreurs fréquentes
- Tester uniquement sur des textes d’actualité en ASM, puis livrer à des utilisateurs qui écrivent en dialecte.
- Faire la moyenne du WER sur tous les dialectes, ce qui masque le plus faible.
- Normaliser l’orthographe dialectale vers l’ASM dans le texte affiché aux utilisateurs.