BroadRouter

Арабский Залива, египетский и левантийский: как LLM понимают диалекты

Команда BroadNet Inference · 6 мин чтения · Опубликовано

LLM справляются с арабскими диалектами неравномерно: египетский и арабский Залива они обычно понимают лучше, чем пишут на них, а на более редких диалектах качество падает. Проверяйте понимание и письмо по отдельности на своих сообщениях. В собственных тестах BroadNet Qwen3.8 27B понимала диалекты Залива и египетский и писала беглый арабский текст. Она стоит $0.175 за 1 млн входных токенов.

LLM обычно понимают арабский Залива и египетский лучше, чем пишут на них, а с более редкими диалектами справляются хуже. Клиенты из Эр-Рияда, Каира и Бейрута могут спросить «что вы хотите?» тремя разными фразами, и модель, хорошо работающая с современным литературным арабским (MSA), всё равно может их неверно понять. Проверяйте понимание и письмо по отдельности.

В этой статье — что меняется между крупными группами диалектов, где LLM обычно ошибаются и как протестировать модель, прежде чем доверить ей реальных клиентов.

Насколько на самом деле различаются диалекты?

Очень сильно в повседневных словах и гораздо меньше в книжной лексике. Масштаб видно по исследовательским корпусам: в корпусе MADAR одни и те же фразы для путешественников перевели на диалекты 25 арабских городов. В таблице — несколько частых фраз. Столбец MSA — то, что напечатали бы в учебнике; остальные — типичные разговорные и переписочные формы. Написание меняется от человека к человеку, и это часть проблемы.

Значение MSA Залив (Саудовская Аравия / ОАЭ) Египетский Левантийский
Что вы хотите? ماذا تريد؟ وش تبي؟ / شو تبي؟ عايز إيه؟ شو بدّك؟
Как дела? كيف حالك؟ شلونك؟ إزيك؟ كيفك؟
сейчас الآن الحين دلوقتي هلّق
Я не знаю لا أعرف ما أدري مش عارف ما بعرف
очень / много جداً وايد أوي كتير

Для LLM важны три закономерности:

  • Меняются служебные слова. Вопросительные слова, отрицание и «хотеть» в разных диалектах совершенно разные. Это короткие частые слова, которые определяют смысл предложения, поэтому неверное прочтение одного из них переворачивает намерение.
  • Написание нестандартно. Диалекты в основном устные, поэтому люди пишут так, как слышат. Одно и то же слово может встречаться с разными буквами, с хамзой или без неё или латиницей (арабизи).
  • Переключение кодов — норма. В деловых сообщениях из Залива встречаются английские названия продуктов, левантийцы и жители Магриба вставляют французские слова. Модель должна справляться с двумя письменностями в одном предложении.

Где LLM ошибаются на арабских диалектах?

Модели учатся на тех текстах, которые видят, а открытых текстов на небольших диалектах вроде эмиратского или суданского гораздо меньше, чем на современном литературном арабском. На практике это проявляется в нескольких повторяющихся ошибках:

  1. Диалектное слово читается как другое слово MSA. Заливское «أبي» (я хочу) выглядит как литературное «أبي» (мой отец). Обычно контекст это разрешает, но маленькие модели иногда не справляются.
  2. Ответ не на то намерение. Короткая египетская жалоба вроде «الطلب لسه موصلش» (заказ всё ещё не пришёл) требует, чтобы модель знала: «لسه» значит «всё ещё», а «موصلش» — глагол с отрицанием.
  3. Письмо на смешанном диалекте. Если попросить ответить «на арабском Залива», слабые модели выдают смесь египетского, левантийского и MSA, на которой не написал бы ни один носитель. Это случается чаще, чем непонимание.
  4. Избыточная правка. Некоторые модели «исправляют» диалект клиента на MSA, когда вы просили его процитировать, и это ломает задачи извлечения.

Общее правило: модели понимают диалекты лучше, чем пишут на них. Стройте продукт с учётом этого.

Что BroadNet тестировала на арабских диалектах?

BroadNet публикует собственную проверку арабского на своей странице цен. Для Qwen3.8 27B она сообщает:

  • беглое письмо на арабском,
  • понимание диалектов Залива и египетского,
  • точный перевод между арабским и английским.

Это то, что заявляет BroadNet, и ничего сверх этого. Результатов по левантийскому, иракскому или магрибским диалектам она не публикует, как и оценки письма на диалекте. Если для вас важны клиенты из Леванта, проверьте их сами по методике ниже.

Qwen3.8 27B принимает текст и изображения, поддерживает инструменты и структурированный вывод, рассуждает перед ответом, контекст — 262 144 токена. За 1 млн токенов она стоит $0.175 за вход и $2.17 за выход. Другие чат-модели сравните на странице цен, а более широкий чек-лист, который охватывает ещё письмо, перевод и документы, — в статье о выборе LLM API для арабского.

Как писать промпт под конкретный диалект?

Скажите, какой диалект вы ждёте, на каком хотите получить ответ и насколько формально. Системный промпт, который хорошо работает для входящих сообщений саудовского интернет-магазина:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

system = (
    "You are a customer-service assistant for a Saudi online store. "
    "Customers write in Gulf Arabic (often Saudi), MSA, English or Arabizi. "
    "Understand all of them. Reply in simple, polite Modern Standard Arabic, "
    "in two or three short sentences. If the customer writes in English, reply in English. "
    "Never invent order details."
)

response = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,  # the model reasons first; leave room for the answer
    messages=[
        {"role": "system", "content": system},
        {"role": "user", "content": "السلام عليكم، طلبي للحين ما وصل، وش السالفة؟"},
    ],
)
print(response.choices[0].message.content)

Сообщение клиента — на арабском Залива: «Здравствуйте, мой заказ до сих пор не пришёл, в чём дело?» Слова «للحين» (всё ещё) и «وش السالفة» (в чём история / в чём дело) — заливские формы. Хороший ответ признаёт задержку на MSA и просит номер заказа.

Ещё несколько полезных привычек при написании промпта:

  • Называйте страну, а не только регион. «Арабский Залива» охватывает речь Саудовской Аравии, ОАЭ, Кувейта, Катара, Бахрейна и Омана, а она различается. Если вы знаете рынок, укажите его.
  • В задачах извлечения просите метку диалекта. Для маршрутизации или аналитики пусть модель возвращает {"dialect": "gulf" | "egyptian" | "levantine" | "msa" | "other", "intent": ...} через структурированный вывод. Это дешёвый способ узнать, кто ваши клиенты.
  • Держите инструкции на одном языке. Английские инструкции с арабским содержимым хорошо работают на большинстве моделей. Арабские инструкции тоже работают; смешение обоих языков в одном системном промпте обычно размывает регистр. Подробнее — в статье о промпт-инжиниринге для арабского.

Стоит ли вообще отвечать на диалекте?

Для большинства компаний — нет. Простой MSA (его иногда называют «белым», или нейтральным, арабским) понятен любому читающему по-арабски, звучит профессионально и исключает риск ответа, который звучит как из другой страны. Ответы на диалекте уместны для неформальных брендов, маркетинговых текстов под один рынок и голосовых продуктов, где MSA звучит натянуто. Если выбираете этот путь, пусть носители именно этого диалекта каждую неделю проверяют выборку ответов.

Как протестировать работу с диалектами за день?

  1. Соберите реальные сообщения. Возьмите 30–50 обезличенных сообщений на диалект из почты, логов чата или расшифрованных голосовых сообщений. Уберите имена, телефоны и номера заказов.
  2. Разметьте намерение. Для каждого сообщения запишите правильное намерение и факты, которые модель должна извлечь (номер заказа, товар, дату).
  3. Проверьте понимание. Попросите каждую модель-кандидата вернуть намерение и поля в JSON. Считайте точные совпадения. Именно это число решает, будет ли работать маршрутизация.
  4. Проверьте письмо. Для десяти сообщений на диалект попросите ответ. Пусть носитель языка оценит каждый ответ по шкале 1–3 за правильность, тон и естественность. Не оценивайте диалект, на котором не говорите.
  5. Проверьте цену и скорость. Записывайте usage.prompt_tokens, usage.completion_tokens и задержку для каждого вызова. Диалектный текст может токенизироваться иначе, чем MSA, поэтому измеряйте, а не гадайте; бесплатный счётчик арабских токенов даст быструю первую оценку.
  6. Повторите для каждой модели. Прогоните тот же набор на Qwen3.8 27B, DeepSeek V4.1 Flash и GLM 5.3. Все три используют один и тот же OpenAI-совместимый API, так что меняется только id модели.

Qwen3.8 27B, DeepSeek V4.1 Flash и GLM 5.3 работают после пополнения; из чат-моделей бесплатный стартовый кредит $5 покрывает только BroadNet Gemma 4 VL 26B, которую стоит добавить как недорогую базовую линию. Часто полезный итог — раздельная схема: одна модель для понимания и маршрутизации, а ответы готовятся на MSA.

А как быть с диалектом в голосовых сообщениях?

Если клиенты присылают голосовые сообщения, работа с диалектом начинается раньше — на этапе распознавания речи. Модель расшифровки может ослышаться в диалектном слове ещё до того, как его увидит LLM. BroadNet сообщает для BroadNet Transcribe Arabic диалектную долю ошибок в словах 23,4 против 3,8 на читаемой речи FLEURS; что означают эти числа, объясняет статья WER для арабского. Тестируйте всю цепочку, от голосового сообщения до ответа, а не каждую часть отдельно.

Вопросы и ответы

Должен ли чат-бот отвечать на диалекте клиента?

По умолчанию обычно нет. Простой современный литературный арабский понятен везде и выглядит профессионально. Отвечайте на диалекте, только если этого требует голос вашего бренда, и только после того, как носители языка проверили вывод.

Какую модель BroadNet тестировала на арабских диалектах?

Qwen3.8 27B. BroadNet сообщает о беглом письме на арабском, понимании диалектов Залива и египетского и точном переводе между арабским и английским. Результатов по левантийскому или магрибским диалектам она не публиковала.

Сколько тестовых сообщений нужно на один диалект?

Тридцати–пятидесяти реальных сообщений на диалект достаточно, чтобы увидеть явные различия между моделями. Для диалекта, на котором говорит большинство ваших клиентов, добавьте больше.

Тратят ли диалектные сообщения больше токенов?

Возможно. Число токенов зависит от токенизатора и написания, а у диалектного текста часто нестандартная орфография. Не гадайте: вставьте примеры в счётчик токенов и подтвердите по prompt_tokens на своих сообщениях.

Может ли LLM понимать египетский арабский?

Часто да, но проверьте на своих сообщениях. BroadNet сообщает, что в её тестах Qwen3.8 27B понимала египетский и арабский Залива; у других моделей по-разному. Писать на диалекте модели обычно умеют хуже, чем читать, поэтому оценивайте точность определения намерения и качество ответа отдельно на 30–50 реальных сообщениях.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity