BroadRouter
Начать

Определение арабского диалекта (dialect identification)

Обновлено

Определение арабского диалекта — это задача установить, на каком варианте арабского написан текст или сделана запись: египетском, диалектах Персидского залива, левантийском, магрибском или современном литературном арабском, на уровне региона, страны или города. Его используют для маршрутизации сообщений, выбора промптов и разбиения наборов для оценки.

Также называют: определение диалекта, распознавание диалекта, классификация арабских диалектов, идентификация диалекта, dialect identification, dialect detection, Arabic dialect identification, ADI, NADI

Чтобы ответить пользователю на его диалекте, сначала нужно понять, на каком диалекте он написал. Это и есть определение диалекта.

Как это работает

Исследовательское сообщество измеряет это на совместных задачах NADI (Nuanced Arabic Dialect Identification). NADI 2020 использовала твиты из 100 провинций в 21 арабской стране, с подзадачей на уровне страны и подзадачей на уровне провинции. NADI 2024 поставила определение диалекта как многометочную задачу, поскольку одно предложение может быть корректным в нескольких диалектах, и добавила подзадачу на степень диалектности. Лучшая система в подзадаче 1 набрала 50,57 F1, и организаторы пишут, что определение диалекта остаётся сложной задачей.

Распространённый ресурс — корпус MADAR (Bouamor и др., 2018): одни и те же предложения из туристической тематики, переведённые на диалекты 25 городов. 2000 предложений есть на всех 25; ещё 10 000 — для Дохи, Бейрута, Каира, Туниса и Рабата. Такие параллельные данные показывают, как один и тот же смысл записывают в разных местах.

На практике большинству продуктов нужна более грубая метка. Рабочий набор такой:

Метка Что охватывает
msa Современный литературный арабский
gulf Саудовский, эмиратский, кувейтский, катарский, бахрейнский, оманский
egyptian Египетский
levantine Сирийский, ливанский, иорданский, палестинский
maghrebi Марокканский, алжирский, тунисский, ливийский
other_or_unclear Иракский, йеменский, суданский, смешанный или слишком короткий текст

Промпт для LLM просит вернуть один JSON-объект: метку, уверенность и слова, которые выдали диалект. Например, на сообщение عايز أغير الباقة ответ будет таким:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

Когда модель называет подсказки, ошибки легко проверять: если подсказка — слово литературного арабского, метка сомнительна.

Почему это важно

  • Маршрутизация. Направляйте клиентов из стран Залива к операторам из Залива или переключайте промпт ответа на диалект пользователя.
  • Оценка. Разбивайте тестовые наборы речи и чатов по диалектам. Одно среднее значение скрывает самую слабую группу, как показывает статья о распознавании диалектной речи.
  • Аналитика. Узнайте, на каких диалектах на самом деле пишут ваши пользователи, прежде чем вкладываться в один из них.

Смешанные сообщения встречаются часто. Пользователи переходят с диалекта на литературный арабский и английский в одной строке — это переключение кодов; оставьте метку «неясно», а не заставляйте модель угадывать.

В BroadNet Inference

Эндпоинта для определения диалекта у BroadNet нет. Его можно построить на POST /v1/chat/completions. Справочник API BroadNet описывает структурированный вывод для GLM 5.3 и Qwen3.8 27B, что подходит для фиксированного списка меток; см. структурированный вывод. BroadNet сообщает, что тестировала Qwen3.8 27B на понимание диалектов Персидского залива и египетского. Точность определения диалекта BroadNet ни для одной модели не публикует, поэтому разметьте вручную около 100 своих сообщений и измерьте модель на них, прежде чем на неё полагаться.

В статье о классификации арабского текста разобраны промпты, списки меток и оценка для таких задач, а статья о диалектном арабском объясняет, что означают метки.

Вопросы и ответы

Насколько точно определяется арабский диалект?

Зависит от детализации и длины текста. На NADI 2024 лучшая система набрала 50,57 F1 в многометочном определении диалекта, и организаторы делают вывод, что задача остаётся сложной. Метки уровня региона на длинных сообщениях даются проще, чем метки страны или города на коротких.

Может ли одно сообщение относиться к нескольким диалектам?

Да. Короткие или нейтральные предложения могут быть корректны сразу в нескольких диалектах, поэтому NADI 2024 поставила определение диалекта как многометочную задачу. Допускайте ответ «неясно» или несколько меток.

Нужен ли отдельный классификатор?

Для начала — нет. LLM с фиксированным списком меток настраивается быстро. Проверьте её на выборке, размеченной вручную; переходите на обученный классификатор, если этого потребуют объём или точность.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity