BroadRouter

Арабские диалекты (dialectal Arabic)

Обновлено

Арабские диалекты — это повседневный разговорный арабский язык региона или города, например египетский, диалекты Персидского залива, левантийский или магрибский. Они отличаются от современного стандартного арабского звуками, словами и грамматикой, не имеют стандартной орфографии и всё чаще пишутся в интернете, поэтому языковым моделям с ними сложнее.

Также называют: арабские диалекты, арабский диалект, разговорный арабский, диалектный арабский, египетский арабский, левантийский арабский, магрибский арабский, арабский Персидского залива, халиджи, dialectal Arabic, Arabic dialects, Arabic dialect, colloquial Arabic, Gulf Arabic, Egyptian Arabic, Levantine Arabic, Maghrebi Arabic, Khaleeji

Модель может хорошо проходить арабские бенчмарки и всё равно спотыкаться на голосовом сообщении из Эр-Рияда или сообщении в чате из Касабланки. Это диалекты, и это совсем другой экзамен, чем современный стандартный арабский (MSA).

Как это работает

Bouamor и соавторы (2018), создатели корпуса MADAR, описывают арабский как “a family of varieties” (перевод: «семейство разновидностей»). MSA — общий язык культуры, СМИ и образования “from Morocco to Oman” (перевод: «от Марокко до Омана»), но ни для кого он не родной. Диалекты обычно группируют по регионам — египетские, североафриканские, левантийские, диалекты Персидского залива и йеменские — или по субрегионам: тунисский, ливанский, кувейтский и так далее. От MSA они отличаются звуками, лексикой и морфологией, а от города к городу — в меньшей степени.

Для софта важнее всего три различия:

  • Звуки. Пример из MADAR — буква каф (ق). В тунисском она остаётся /q/, близко к MSA; в египетском и левантийском это гортанная смычка; в диалектах Персидского залива — /g/. Модели распознавания речи должны сводить все три варианта к одному и тому же написанному слову.
  • Слова. Различаются обиходные слова. «Я хочу» на MSA — أريد, на египетском — عايز, на левантийском — بدي, в диалектах Персидского залива — أبي или أبغى, на марокканском — بغيت.
  • Орфография. MADAR отмечает, что у MSA есть стандартная орфография, а у диалектов нет. Люди пишут по звучанию или по этимологии, а иногда латиницей — это арабизи. Говорящие также вставляют английские или французские слова — это переключение кодов.

К тому же на диалектах всё больше пишут. MADAR называет диалект формирующимся основным письменным языком неформального общения в интернете. NADI 2020 построил общую задачу на твитах из 100 провинций 21 арабской страны.

Почему это важно

  • Чат-боты и боты поддержки. Пользователи пишут так, как говорят. Правила распознавания намерений, поиск по ключевым словам и модели тональности, обученные на MSA, пропускают диалектные слова. См. диалекты Залива и египетский в LLM.
  • Распознавание речи. Аудио на диалекте на той же модели даёт результат намного хуже, чем зачитанный MSA. Соберите тестовый набор для каждого диалекта, как объясняет статья о распознавании диалектной речи.
  • Маршрутизация. Если ответы, проверяющие или промпты зависят от региона, сначала разметьте диалект с помощью определения арабского диалекта.

В BroadNet Inference

BroadNet указывает модель BroadNet Transcribe Arabic для диалектов Персидского залива, египетского, левантийского, магрибского и современного стандартного арабского. BroadNet сообщает долю ошибок в словах 3,8 на зачитанной речи FLEURS-ar и 23,4 на собственном наборе диалектов Персидского залива, египетского и левантийского; оба значения — измерения BroadNet. Разница — это и есть эффект диалекта. Для всех них отправляйте language=ar: документация BroadNet предупреждает, что иначе арабский может вернуться транслитерированным латиницей.

Для текста BroadNet сообщает, что тестировала Qwen3.8 27B на арабском и модель понимает диалекты Персидского залива и египетский. Результатов для левантийского или магрибского текста BroadNet не публикует, поэтому проверьте их на своих сообщениях. Руководство по выбору LLM для арабского сравнивает модели, а в руководстве по распознаванию арабской речи есть рабочий код.

Частые ошибки

  • Тестировать только на новостных текстах на MSA, а затем выпускать продукт для пользователей, которые пишут на диалекте.
  • Усреднять WER по диалектам: так скрывается самый слабый из них.
  • Нормализовать диалектное написание к MSA в тексте, который видят пользователи.

Вопросы и ответы

Какой код языка отправлять для аудио на диалекте?

Отправляйте ar. Документация BroadNet требует language=ar для арабского аудио, а BroadNet указывает, что одна модель Transcribe Arabic охватывает диалекты Персидского залива, египетский, левантийский, магрибский и современный стандартный арабский.

Модель должна отвечать на диалекте или на MSA?

Решайте для каждого продукта и прямо укажите это в системном промпте. Многие ассистенты понимают диалект и отвечают на простом MSA или на диалекте пользователя; проверьте, что предпочитают ваши пользователи.

Сколько существует арабских диалектов?

Фиксированного числа нет. Диалекты группируют по регионам (египетские, североафриканские, левантийские, диалекты Персидского залива, йеменские) или по субрегионам. Один только MADAR охватывает диалекты 25 городов.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity