BroadRouter

Классификация арабского текста с LLM: тональность, интенты, тикеты

Команда BroadNet Inference · 7 мин чтения · Опубликовано · Обновлено

Чтобы классифицировать арабский текст с помощью LLM, задайте короткий набор меток с определениями в одну строку, дайте несколько размеченных примеров на каждом встречающемся диалекте, просите JSON с одной меткой и короткой цитатой-обоснованием и ставьте низкий уровень рассуждений. Прежде чем доверять модели, оцените её на 200 размеченных вручную сообщениях по macro F1. Дообученные арабские модели всё ещё могут обойти универсальную LLM.

Задачи классификации арабского текста встречаются повсюду: положительный ли этот отзыв, жалоба ли это сообщение в WhatsApp, какой команде отдать обращение, срочное ли оно. До LLM для каждой задачи нужны были размеченный датасет и дообученная модель. Теперь можно начать с промпта. Это быстрее, но легко выпустить классификатор, который хорошо выглядит на десяти примерах и проваливается на диалекте Залива. В этой статье — промпт, формат вывода, тестирование и стоимость.

Какие задачи классификации подходят для LLM?

Задача Метки, например Примечания
Тональность positive, negative, neutral, mixed На нейтральных и смешанных люди и модели расходятся сильнее всего
Намерение complaint, question, order, cancel, other Оставьте «other»: принудительная метка порождает ошибки
Маршрутизация обращений billing, delivery, technical, account Стройте метки по своим реальным командам
Срочность urgent, normal Определите «срочно» одной строкой: «клиент не может пользоваться сервисом прямо сейчас»
Диалект или письменность MSA, Gulf, Egyptian, Levantine, Arabizi Полезно для выбора нужного шаблона ответа; см. арабизи
Тематические теги Несколько меток из фиксированного списка Просите список и ограничивайте его длину

LLM хорошо подходит, когда размеченных примеров мало, метки часто меняются или к каждой метке нужно обоснование. Дообученный классификатор подходит, когда метки стабильны, объём огромен и у вас уже есть тысячи размеченных примеров.

Что говорят исследования об LLM на арабском?

Перед началом стоит знать два результата:

  • Дообученные арабские модели могут выигрывать. GPTAraEval проверила ChatGPT на 44 арабских задачах и обнаружила, что она “consistently surpassed by smaller models that have undergone finetuning on Arabic” (перевод: «стабильно уступает меньшим моделям, дообученным на арабском»). Авторы также отметили более слабые результаты на диалектах, чем на современном литературном арабском (Khondaker et al.).
  • Промпты с учётом диалекта помогают. Исследование RANLP 2025, где DeepSeek-R1, Qwen2.5 и LLaMA-3 оценивались на анализе тональности на MSA, саудовском диалекте и марокканском дариджа, сообщает, что промпты с учётом диалекта повысили точность, особенно для нейтрального и отрицательного классов (Alharbi et al.).

Это более старые или другие модели, чем те, с которыми будете работать вы, поэтому воспринимайте их как направление, а не как цифры. Вывод остаётся в силе: измеряйте на своих сообщениях, по каждому диалекту.

Как спроектировать метки?

Начинайте отсюда, а не с модели.

  1. Держите список коротким. Четыре–восемь меток на вопрос. Разные вопросы (тональность, намерение, срочность) задавайте как отдельные поля, а не одним огромным списком.
  2. Определите каждую метку одной строкой, включая то, чем она не является: «complaint: клиент сообщает о проблеме с купленным. Не вопрос о цене».
  3. Добавьте запасную метку, например other или unclear.
  4. Заранее решите смешанные случаи. «Доставка опоздала, но курьер был вежлив» — смешанное, а не нейтральное. Запишите это правило.

Определения меток могут быть на английском, даже если текст арабский. Значения меток держите на английском, чтобы код не зависел от сравнения арабских строк.

Какой промпт работает для классификации арабского текста?

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out

Зачем нужна каждая часть:

  • Строка о диалектах говорит модели, чего ожидать, — это и есть промпт с учётом диалекта, который исследование RANLP признало полезным.
  • Примеры больше чем на одном диалекте. Примеры выше смешивают диалект Залива и египетский. Используйте реальные (обезличенные) сообщения из своего трафика.
  • Обоснование в виде цитаты позволяет проверяющему за секунду проверить метку, и догадки модели становится легче заметить.
  • reasoning_effort="low". Qwen3.8 27B, GLM 5.3 и DeepSeek V4.1 Flash рассуждают перед ответом, и рассуждения входят в max_tokens. Документация BroadNet советует ставить reasoning_effort в low или оставлять 1 000 токенов и больше. Почему иначе ответы приходят пустыми.
  • Отбрасывайте неизвестные метки в коде. Никогда не полагайтесь на то, что модель останется в рамках списка.

Более строгий контракт вывода описан в статье JSON mode или json_schema. BroadNet указывает структурированный вывод для GLM 5.3 и Qwen3.8 27B.

Какую модель BroadNet использовать?

Модель Почему её выбрать Вход / выход за 1 млн токенов
Qwen3.8 27B Протестирована BroadNet на арабском: понимает диалекты Залива и египетский; структурированный вывод указан $0.175 / $2.17
BroadNet Gemma 4 VL 26B Самая низкая цена за токен на BroadNet; работает на стартовом гранте $5; структурированный вывод не указан, поэтому строго проверяйте вывод $0.10 / $0.22
DeepSeek V4.1 Flash Есть и на тарифе с фиксированной ценой — $60 в месяц за сессию, один запрос за раз $0.175 / $0.52
GLM 5.3 Структурированный вывод указан; самая высокая цена из четырёх $0.78 / $3.46

Сначала прогоните тестовый набор на Qwen3.8 27B и Gemma 4 VL 26B. Если оценки Gemma достаточно близки, для коротких меток она дешевле. Выбирайте по своим цифрам, а не по этой таблице.

Как тестировать классификатор?

  1. Разметьте вручную 200 реальных сообщений вместе с носителем языка по определениям меток выше. Включите все диалекты, которые к вам приходят, не меньше 30 на каждый.
  2. Прогоните модель на всех 200.
  3. Посчитайте macro F1 — среднее F1 по меткам, чтобы редкие метки весили столько же, сколько частые. Одна лишь точность (accuracy) скрывает модель, которая никогда не говорит cancel.
  4. Прочитайте матрицу ошибок. Если question и complaint часто путаются, определения пересекаются: исправьте определения, прежде чем менять модель.
  5. Разбейте результаты по диалектам. Модель может быть сильной на MSA и слабой на диалекте Залива.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))

Прогоняйте тот же набор каждый раз, когда меняете промпт или модель. Как держать фиксированный тестовый набор, рассказывает статья как оценить LLM перед переходом.

Как классифицировать на больших объёмах?

Классификация нагружает в основном вход: длинный системный промпт, короткое сообщение и ответ из одного слова. Важны три рычага.

Группируйте сообщения в запросы. Ключ BroadNet с оплатой по факту разрешает 30 запросов в минуту и 4 одновременных запросов. Одно сообщение на запрос ограничивает вас 30 сообщениями в минуту на ключ, или в 1440 раз большим числом в день. Отправьте 20 коротких сообщений нумерованным списком и попросите JSON-массив из 20 результатов: тот же лимит запросов покроет в двадцать раз больше сообщений. Проверяйте, что длина массива совпадает и у каждого элемента есть свой номер.

Держите префикс промпта одинаковым. Системный промпт и примеры одинаковы в каждом вызове. Ставьте их первыми, а сообщение — последним, чтобы они читались из кэша по цене входа из кэша, например $0.0435 вместо $0.175 за 1 млн на Qwen3.8 27B. Как структурировать промпты, чтобы префикс кэшировался.

Держите вывод коротким. Выходные токены стоят дороже входных. Метки и короткой цитаты достаточно; когда начнёте доверять модели, уберите поле с обоснованием.

На арабское слово обычно приходится больше токенов, чем на английское, поэтому посчитайте образец своих сообщений в счётчике арабских токенов, а затем оцените месяц в калькуляторе стоимости LLM API.

Каких ошибок избегать?

  • Тестирование на переводах с английского. Переведённый текст — не то, как пишут ваши клиенты.
  • Одна оценка на все диалекты. Показывайте каждый диалект отдельно.
  • Нет запасной метки. Если загонять каждое сообщение в реальную метку, ошибок становится больше.
  • Ответы свободным текстом. «Кажется, негативно» не разобрать программно. Просите JSON и проверяйте его.
  • Игнорирование сарказма. «ما شاء الله، ثالث مرة يتأخر الطلب» по отдельным словам звучит позитивно, а на деле это жалоба. Добавьте похожий пример в промпт.

Когда LLM — неподходящий классификатор?

Когда метки стабильны, у вас уже есть тысячи размеченных примеров, а объём исчисляется миллионами, дообученная арабская модель-энкодер обычно дешевле в расчёте на сообщение и, согласно GPTAraEval, может быть точнее. Для больших офлайн-заданий, которые могут подождать, провайдер с batch API тоже может обойтись дешевле: OpenAI заявляет скидку 50% на пакетные задания, выполняемые в течение 24 часов. У BroadNet batch API нет. Распространённый подход — разметить первые несколько тысяч сообщений с помощью LLM, проверить их вручную и обучить на результате небольшую модель.

Место BroadNet Inference

BroadNet даёт проверенную на арабском модель (Qwen3.8 27B), дешёвую модель на стартовом гранте (Gemma 4 VL 26B) и вариант с фиксированной ценой (DeepSeek V4.1 Flash) под одним OpenAI-совместимым ключом, без хранения содержимого сообщений после запроса. Это подходит командам поддержки, которые хотят классифицировать арабские сообщения, не строя конвейер обучения. И не подходит для очень больших офлайн-заданий, где пакетная скидка или дообученная модель обойдутся дешевле. Начните с промпта выше, теста на 200 сообщениях и статьи о диалектах Залива, Египта и Леванта, чтобы собрать тестовый набор.

Вопросы и ответы

Может ли LLM делать анализ тональности арабского текста?

Да, без обучения — если дать ей в промпте метки и примеры. Качество зависит от диалекта и класса: в опубликованных тестах модели на многих задачах уступают дообученным арабским моделям, а на диалектах результаты ниже, чем на современном литературном арабском. Измерьте это на своих данных.

Лучше ли LLM для классификации, чем дообученная арабская модель BERT?

Не всегда. GPTAraEval обнаружила, что на 44 задачах ChatGPT "consistently surpassed by smaller models that have undergone finetuning on Arabic" (перевод: «стабильно уступает меньшим моделям, дообученным на арабском»). LLM выигрывает, когда размеченных примеров мало, метки часто меняются или к каждой метке нужно обоснование.

Как классифицировать сообщения на диалектах Залива и египетском?

Дайте модели размеченные примеры на каждом диалекте, укажите, каких диалектов ждать, и оценивайте каждый диалект отдельно. Модель, хорошо справляющаяся с египетскими отзывами, всё равно может пропустить сарказм на диалекте Залива.

Как каждый раз получать стабильную метку?

Используйте фиксированный список меток, просите JSON только с этими значениями, ставьте temperature в 0 и отбрасывайте любой ответ не из списка. Отправляйте одни и те же примеры в одном и том же порядке, чтобы результаты воспроизводились.

Сколько сообщений в день можно классифицировать на BroadNet?

Ключ с оплатой по факту разрешает 30 запросов в минуту и 4 одновременно. При одном сообщении на запрос это не больше 30 сообщений в минуту на ключ, или в 1440 раз больше в день. Если класть в каждый запрос по 20 коротких сообщений, объём вырастает в двадцать раз в пределах контекста.

Есть ли у BroadNet batch API для массовой классификации?

Нет. BroadNet документирует только chat completions и транскрибацию. Для больших офлайн-заданий группируйте сообщения в запросы или рассмотрите провайдера с batch API; OpenAI заявляет для своего Batch API скидку 50% при окне 24 часа.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity