BroadRouter

Арабизи и LLM: как работать с франко-арабским и цифрами 3 и 7

Команда BroadNet Inference · 5 мин чтения · Опубликовано · Обновлено

Арабизи, или франко-арабский, — это арабский, записанный латиницей с цифрами вместо звуков, которых нет в латинском алфавите: 3 — ع, 7 — ح, 2 — ء, 5 — خ. LLM обычно его понимают, но переводят непоследовательно. Распознайте арабизи, попросите модель транслитерировать его в арабскую графику с указанием диалекта, затем обрабатывайте арабский текст.

Арабизи, также франко-арабский или «франко», — это арабский, записанный латиницей с цифрами вместо звуков, которых нет в латинском алфавите, например 3 вместо ع и 7 вместо ح. Чтобы работать с ним через LLM, распознайте его, попросите модель перевести его в арабскую графику с указанием диалекта и запускайте остальной пайплайн на арабском тексте.

“ana 3ayez a7gez ma3ad bokra” — обычное сообщение клиента в Египте: “أنا عايز أحجز ميعاد بكرة” (хочу записаться на завтра). Арабизи появился на телефонах и компьютерах без арабской клавиатуры и до сих пор встречается в чатах.

Какие цифры обозначают какие арабские буквы?

Стандарта нет, но цифрами обозначают арабские буквы, которые на них похожи или не имеют латинского аналога. В обзоре арабского чат-алфавита перечислены распространённые соглашения:

Цифра Арабская буква Пример Арабская графика Значение
2 ء (хамза) / أ so2al سؤال вопрос
3 ع 3arabi عربي арабский
3’ или 8 غ 8aly / 3’aly غالي дорогой (о цене)
5 или kh خ 5alas خلاص готово / хватит
6 ط 6ayeb طيب ладно (Залив)
7 ح 7abibi حبيبي мой дорогой
9 ص 9ba7 صباح утро (Залив)
8 ق (в некоторых регионах) 8alb قلب сердце

Региональные привычки различаются. В обзоре, например, отмечено, что 8 вместо غ используют только в Ливане, а 8 и 9 вместо ق распространены в Саудовской Аравии; в египетском арабизи 2 может обозначать ق там, где она произносится как гортанная смычка. Гласные пишут на слух, поэтому “ma3lesh”, “ma3lsh” и “m3lsh” (معلش, ничего страшного) — одно и то же слово.

Почему арабизи сложен для программ?

  • Это почти всегда диалект. Люди пишут на арабизи так, как говорят, поэтому в нём сразу все трудности диалектов — и нет арабской графики, на которую можно опереться.
  • Он похож на английский или французский. “bas” — это بس (но / только) по-арабски и ничего по-английски; “men” — من (из / кто). Детекторы по ключевым словам и инструменты определения языка часто помечают арабизи как английский или другой язык на латинице.
  • Нет стандартного написания. Поиск по точному совпадению, правила намерений и аналитика ломаются.
  • Переключение кодов. “el order bta3i lessa ma waslsh, can u check?” смешивает египетский арабизи и английский в одном предложении.

Конвертерам на правилах трудно, потому что одна латинская строка может соответствовать многим арабским написаниям; исследовательские системы вроде работы Darwish по распознаванию и конвертации арабизи сочетали поиск транслитераций с языковым моделированием, чтобы выбрать нужное слово, и сообщали о точности конвертации 88,7 %. Современные LLM по сути делают это за один шаг.

Насколько хорошо LLM справляются с арабизи?

Крупные модели видели арабизи в веб-текстах и соцсетях, поэтому частые фразы обычно понимают. Результаты зависят от модели и диалекта, так что тестируйте, прежде чем полагаться. Типичные сбои:

  1. Принимают за английский и отвечают на неверно прочитанное сообщение.
  2. Переводят не в тот диалект, например «превращают» египетский в слова MSA, меняющие тон, или угадывают Залив, когда пользователь из Ливана.
  3. Непоследовательная графика ответа: на одно сообщение отвечают на арабизи, на следующее — арабской графикой.
  4. Выдуманная точность в именах и названиях мест, где латинское написание неоднозначно.

Решение то же, что и для диалектов вообще: скажите модели, чего ожидать и что выдавать.

Как перевести арабизи в арабскую графику с помощью LLM?

Сначала переведите арабизи в арабскую графику, затем запускайте остальной пайплайн (поиск, маршрутизацию, ответы) на арабском тексте. Так остаётся одна ветка кода, а поиск и аналитика работают.

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

Хороший результат:

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

Замечания к этому решению:

  • Сохраняйте диалектные слова. Просьба дать «сообщение арабской графикой, сохраняя диалектные слова» не даёт молча переписать его на MSA, что лишило бы смысла маршрутизацию и анализ тональности.
  • Храните оригинал. Сохраняйте исходное сообщение рядом с конвертированным для аудита и переобучения правил.
  • Используйте дешёвый предфильтр. Простая проверка (латинские буквы плюс цифры 2, 3, 5, 6, 7, 8 или 9 внутри слов, как в регулярном выражении ниже) ловит большую часть арабизи ещё до того, как вы потратите вызов LLM. Сообщения только на арабском или только на английском могут пропускать конвертацию. Для более строгого вывода используйте структурированный вывод со схемой.
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

Подсказка пропускает арабизи без цифр (“ana mesh fahem”, я не понимаю) и срабатывает на кодах товаров вроде “a7x”; считайте её способом сэкономить, а не классификатором. Настоящее решение — поле script от LLM.

Какой графикой отвечать?

Решайте на уровне продукта, а не отдельного сообщения:

Отвечать Когда
Арабской графикой (MSA или лёгкий диалект) По умолчанию для большинства компаний; понятно всем
По-английски Если язык вашей поддержки английский или клиент писал в основном по-английски
На арабизи Молодёжные бренды, которые хотят говорить в стиле клиента; проверяйте выборки с носителями языка

Автоматическое отзеркаливание арабизи обычно даёт написания, которые носителям кажутся странными, потому что стандарта нет. Если всё же отзеркаливаете, дайте модели примеры предпочтительных написаний. Подробнее о выборе регистра и графики — в статье о промпт-инжиниринге для арабского.

Какую модель выбрать для арабизи?

Соберите 50–100 реальных сообщений на арабизи из своих каналов, для каждого запишите правильный вариант арабской графикой и намерение и оценивайте модели-кандидаты сначала по точности намерения, затем по качеству конвертации. BroadNet сообщает, что в её тестах Qwen3.8 27B понимала диалекты Залива и египетский и писала беглый арабский текст; отдельного результата по арабизи она не публиковала, так что проверьте на своих данных. DeepSeek V4.1 Flash дешевле за выходной токен, а BroadNet Gemma 4 VL 26B — самая дешёвая модель BroadNet для шага предварительной классификации на больших объёмах. Цены — на странице цен. Арабизи на латинице и арабская графика токенизируются по-разному, поэтому перед оценкой стоимости вставьте обе версии нескольких сообщений в бесплатный счётчик токенов.

Где встречается арабизи?

  • WhatsApp и личные сообщения в соцсетях: главный источник. См. статью об архитектуре арабского чат-бота WhatsApp.
  • Поисковые строки: пользователи вводят “7agz” (حجز, бронирование). Нормализуйте запросы тем же шагом перед поиском в арабском RAG.
  • Не из распознавания речи, если вы передаёте язык. Арабизи набирают люди. Если расшифровка арабского аудио вернулась латиницей, в запросе, вероятно, нет language=ar; документация BroadNet предупреждает, что иначе арабский может быть транслитерирован. См. руководство по голосовым сообщениям WhatsApp.

Вопросы и ответы

Арабизи и франко-арабский — это одно и то же?

Да. Арабизи, франко-арабский, «франко» и арабский чат-алфавит — названия одной и той же практики: писать по-арабски латинскими буквами и цифрами. Названия зависят от страны; в Египте распространено «франко».

Должен ли чат-бот отвечать на арабизи?

Обычно нет. Отвечайте арабской графикой или по-английски, в зависимости от бренда. Некоторые молодёжные бренды отвечают на арабизи, но пусть носители языка проверят, что написание выглядит естественно.

Можно ли перевести арабизи в арабский регулярным выражением?

Надёжно — нет. Гласные свободно опускают или добавляют, а одни и те же латинские буквы в зависимости от контекста соответствуют разным арабским. Правила помогают распознать арабизи, а для перевода нужна языковая модель.

Что означает цифра 3 в арабской переписке?

В арабизи 3 обозначает букву ع (айн), как в "3arabi" — عربي (арабский). Другие частые цифры: 2 — ء, 5 — خ, 7 — ح и 9 — ص.

Почему расшифровка вернулась латиницей?

Это транслитерация со стороны модели распознавания речи, а не арабизи, набранный пользователями. Передавайте language=ar в каждом запросе на расшифровку арабского, чтобы получить арабскую графику.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity