BroadRouter

Арабизи (Arabizi)

Обновлено

Арабизи — это неформальная запись арабского латинскими буквами, где арабские звуки без латинского аналога передаются цифрами, например 3 вместо ع. Он распространён в чатах и соцсетях, в основном диалектный, не имеет стандартной орфографии и часто перемешан с английским или французским.

Также называют: арабизи, арабский латиницей, франко-арабский, арабиш, арабский чат-алфавит, Arabizi, Franco-Arabic, Franco-Arab, Arabish, Arabic chat alphabet, Franco Arabic

Арабизи — это то, как многие арабоязычные люди печатают на телефоне: арабские слова, латинская клавиатура и несколько цифр для недостающих звуков.

Как это работает

Darwish (2014) описывает арабизи, который также называют Arabish или Franco-Arab, как арабский в транслитерированной латинской форме, где цифрами обозначаются буквы, которых нет в английском: «2» и «3» означают звук хамзы и ع. Он появился потому, что старые браузеры и телефоны не умели отображать арабское письмо. Сохраняется он потому, что люди привыкли и на английской раскладке печатают быстрее.

Три свойства делают его трудным для программ:

  • Нет стандартной орфографии. Shazal, Usman и Habash (2020) отмечают, что арабизи в соцсетях — это диалектный арабский, у которого нет стандартной орфографии, и что соответствие арабской графике не взаимно однозначно.
  • Смешение с английским или французским. Сообщение вроде w aletli Tuesday («и она сказала мне: во вторник») смешивает оба языка — это переключение кодов.
  • Сначала распознавание. Прежде чем конвертировать слова, программа должна решить, какие из них написаны на арабизи. Darwish сообщает о точности распознавания 98,5% и точности конвертации 88,7% с классическим конвейером; модель sequence-to-sequence 2020 года достигает 80,6% точности по словам на закрытом тестовом наборе для совместной задачи.

В LLM API арабизи ещё и ведёт себя под токенизатором иначе, чем арабское письмо: это латинский текст с написаниями, которые редко встречались в словаре.

Почему это важно

Если у вас чат-бот, поиск или аналитика в странах Персидского залива, Египте или Леванте, часть пользователей будет писать на арабизи. Поиск по ключевым словам, правила определения намерений и инструменты анализа тональности, созданные для арабского письма, эти сообщения пропустят. Распространённое решение — перед маршрутизацией или индексацией попросить LLM перевести арабизи в арабскую графику, указав диалект, и сохранить исходный текст. В руководстве по работе с арабизи разобраны промпты и выбор письменности для ответа.

В BroadNet Inference

Отдельной функции для арабизи у BroadNet нет; чат-модели получают его как обычный текст. BroadNet сообщает, что тестировала Qwen3.8 27B на арабском, включая понимание диалектов Персидского залива и египетского, — это отправная точка для тестов на арабизи. См. диалекты Залива и египетский в LLM.

Речь — отдельный случай. Документация BroadNet предупреждает, что без language арабское аудио может быть транслитерировано латиницей. Такой вывод похож на арабизи, но возникает из-за запроса, а не из-за говорящего. Передавайте language=ar в BroadNet Transcribe Arabic.

Вопросы и ответы

Зачем в арабизи цифры?

В арабском есть звуки и буквы без латинского аналога, поэтому пишущие берут цифры, похожие на арабскую букву. Darwish (2014) приводит в пример 2 для звука хамзы и 3 для ع.

Понимают ли LLM арабизи?

Часто да, но написание так сильно разнится, что результаты неровные, а перевод в арабскую графику может отличаться от запуска к запуску. Тестируйте на реальных сообщениях своих пользователей и указывайте диалект в промпте.

Мой арабский транскрипт пришёл латиницей. Это арабизи?

Нет. Это модель распознавания речи транслитерировала текст, потому что в запросе не было сказано, что аудио на арабском. В BroadNet передавайте language=ar.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity