BroadRouter

Распознавание арабских диалектов: Залив, Египет, Левант, Магриб

Команда BroadNet Inference · 5 мин чтения · Опубликовано · Обновлено

Арабские диалекты отличаются от современного литературного арабского звуками, словами и написанием, а говорящие вставляют английские или французские слова, поэтому модели ASR, обученные в основном на литературном языке, ошибаются на них гораздо чаще. Чтобы проверить провайдера, соберите тестовый набор по каждому диалекту из своего аудио, зафиксируйте правила написания и считайте WER, CER и точность сущностей по диалектам.

Распознавание речи плохо справляется с арабскими диалектами, потому что они отличаются от современного литературного арабского (MSA) звуками, словами и написанием, а говорящие вставляют английские или французские слова. Чтобы понять, как поведёт себя провайдер, соберите небольшой тестовый набор по каждому диалекту из своего реального аудио и оценивайте каждый диалект отдельно.

Звонок из Эр-Рияда, голосовое сообщение из Каира и обращение в поддержку из Касабланки — всё это «арабский», но одна и та же модель может хорошо справиться с первым и плохо с третьим.

В этой статье — что делает каждую крупную группу диалектов трудной для распознавания речи и как построить тест, который покажет, как провайдер справится с вашими диалектами. Более общий чек-лист покупателя (цена, лимиты, конфиденциальность) — в руководстве по выбору API распознавания арабской речи.

Почему арабские диалекты трудны для распознавания речи?

Складываются четыре проблемы:

  1. Разные звуки. Одна и та же буква в разных регионах произносится по-разному, поэтому акустическая модель должна сводить несколько звуков к одному написанию.
  2. Разные слова. Повседневная лексика различается по диалектам. Модель, обученная в основном на MSA, может «исправить» диалектное слово на литературный эквивалент, и при дословном эталоне это засчитывается как ошибка.
  3. Нет стандартного написания. Диалекты пишутся неформально, так что расходятся даже два человека-расшифровщика. Обучающие данные тоже неравномерны: в исследовании диалектного покрытия 2024 года отмечено, что существующие системы ASR “mainly cover the modern standard Arabic (MSA) variety and few high-resource dialects” (перевод: «в основном охватывают современный стандартный арабский (MSA) и несколько диалектов с большим объёмом ресурсов») (arXiv 2411.05872).
  4. Переключение кодов. Говорящие посреди фразы переходят на английский или французский. Датасет Casablanca, охватывающий восемь диалектов, размечает переключение кодов наряду с диалектом и полом говорящего.

Именно поэтому статья об Open Universal Arabic ASR Leaderboard (Interspeech 2025) оценивает открытые модели на нескольких многодиалектных тестовых наборах: одна общая оценка по арабскому скрывает разброс.

Как каждый арабский диалект сбивает распознавание речи?

Группа диалектов Где Типичные проблемы ASR
Диалекты Залива (халиджи) Саудовская Аравия, ОАЭ, Кувейт, Катар, Бахрейн, Оман Вставки английских названий продуктов, чисел и брендов; региональное произношение каф и кяф
Египетский Египет Джим произносится как твёрдое «г»; каф часто звучит как гортанная смычка; очень распространён в медиа, поэтому модели обычно видят его больше
Левантийский Сирия, Ливан, Иордания, Палестина Городской каф как гортанная смычка; вставки французского или английского, особенно в Ливане
Магрибский (дариджа) Марокко, Алжир, Тунис, Ливия Дальше всех от MSA; краткие гласные выпадают; частое переключение на французский; заимствования из амазигских языков
Иракский Ирак Своя лексика и произношение; меньше открытого обучающего аудио

Это тенденции, а не правила. Внутри каждой группы городская речь отличается от сельской, а молодые говорящие чаще переключают коды. Суть в том, что каждая группа ошибается по-своему, поэтому каждую группу и оценивают отдельно.

Как собрать тестовый набор по арабским диалектам?

1. Отберите реальное аудио по каждому диалекту

Возьмите 30–50 клипов на диалект из того канала, с которым будете работать в продакшене: телефонные звонки, голосовые сообщения WhatsApp, записи встреч. Телефонное аудио с частотой 8 кГц ведёт себя иначе, чем студийное. Пометьте каждый клип диалектом и отдельно отметьте клипы с английскими или французскими словами.

2. Сначала договоритесь о правилах написания

Прежде чем кто-то начнёт писать эталон, решите:

  • Дословный диалект (пишется то, что сказано, в диалектном написании) или
  • Нормализованная форма (приведение к единообразному виду).

Запишите выбор с примерами. Если эталоны дословные, а модель выдаёт слова, похожие на MSA, WER будет выглядеть ужасно, даже когда смысл передан верно. Ни один вариант не ошибочен. Он должен соответствовать тому, что нужно вашей системе дальше по цепочке.

3. Напишите эталоны для 10 клипов на диалект

Пусть их расшифруют носители именно этого диалекта. Для клипов с переключением кодов решите, остаются ли английские слова латиницей, и применяйте это правило везде.

4. Нормализуйте обе стороны, затем считайте

Удалите огласовки, унифицируйте формы алифа (إ أ آ в ا) и конечного йа (ى в ي), уберите пунктуацию и замените восточноарабские цифры западными. Затем посчитайте:

Метрика Зачем
WER по диалекту Стандартная мера; строга к клитикам и приставкам
CER по диалекту Мягче к разночтениям в написании
Точность сущностей Доля чисел, дат и имён, расшифрованных в точности
WER группы с переключением кодов Показывает, сохраняются ли английские или французские слова

Пакет jiwer считает WER и CER; в статье WER для арабского: объяснение есть функция нормализации, которую можно переиспользовать, и разобранный пример того, насколько она меняет оценку.

5. Прочитайте расшифровки

От чисел зависит, будет ли работать сценарий колл-центра или банка. Прочитайте по 20 расшифровок на диалект и вручную проверьте каждое число, дату и имя.

Что говорят опубликованные значения WER для арабского?

Открытые бенчмарки задают направление, но ничего не обещают. BroadNet публикует в своём каталоге моделей три значения WER для BroadNet Transcribe Arabic: 3,8 на FLEURS-ar (чистая читаемая речь), 21,1 на MASC-ar (смешанная речь из реальной жизни) и 23,4 на собственном диалектном наборе. Для одной и той же модели это шестикратный рост между читаемой и диалектной речью — вот почему тестировать нужно на своих диалектах.

Сравнивая провайдеров, сравнивайте их на одном и том же тестовом наборе. Рейтинг вроде Open Universal Arabic ASR Leaderboard полезен тем, что все модели в нём оцениваются одинаково. Собственная цифра поставщика на собственном наборе несопоставима с цифрой другого поставщика.

Какая LLM должна читать диалектные расшифровки?

Расшифровки обычно передаются в LLM: чтобы подвести итог звонка, направить обращение или ответить на вопрос. Эта модель тоже должна понимать диалект. Как её проверить, рассказывает наше руководство по выбору LLM для арабского, а Qwen3.8 27B — модель, которую BroadNet тестировала на диалектах Залива и египетском.

Место BroadNet Inference

BroadNet Transcribe Arabic создана для арабского, включая диалекты, стоит $0.0042 за минуту ($0.25 за час), и, по данным BroadNet, занимает позицию № 2 из 37 (данные за сентябрь 2026 г.; в живом рейтинге на 15 ноября 2026 г. — № 4 из 39) в Open Universal Arabic ASR Leaderboard и #1 среди моделей, лицензии которых разрешают работу через API. Для чисел, дат и имён в шумном аудио BroadNet предлагает дообученную версию по запросу. Стартовый грант $5 покрывает около 1,190 минут — достаточно для всего описанного выше теста; калькулятор стоимости распознавания речи переводит ваш продакшен-объём в месячный счёт. Чтобы начать, создайте ключ.

BroadNet не публикует отдельные значения WER для каждой группы диалектов. Именно поэтому стоит провести этот тест: её результат на диалектном наборе — одно число, а ваши клиенты говорят на одном-двух диалектах, а не на всех сразу.

Вопросы и ответы

Какой арабский диалект сложнее всего для распознавания речи?

Универсального рейтинга нет: всё зависит от данных, на которых обучалась модель. Магрибские диалекты, например марокканский и алжирский, часто оказываются трудными, потому что дальше всех от современного литературного арабского и перемешаны с французским. Проверяйте свой диалект, а не полагайтесь на общий рейтинг.

Понимает ли распознавание речи египетский арабский?

Часто лучше, чем более редкие диалекты, потому что египетский широко звучит в медиа, но ожидайте более низкой точности, чем на литературном арабском. Измерьте её на собственных записях.

Что использовать для арабского — WER или CER?

Оба. WER считает целые слова, поэтому неверная приставка или клитика делает ошибочным всё слово. CER считает символы и мягче относится к разночтениям в написании, а это важно для диалектов без стандартной орфографии.

Сколько аудиоклипов нужно, чтобы проверить провайдера арабского ASR?

Около 30–50 реальных клипов на диалект, из них не меньше 10 на диалект, расшифрованных вручную как эталоны. Этого достаточно, чтобы увидеть крупные различия между провайдерами.

Важен ли код языка для арабских диалектов?

Передавайте language=ar. В большинстве API диалекты используют общий код ar. Без него некоторые модели возвращают арабскую речь, транслитерированную латиницей.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity