Задачи классификации арабского текста встречаются повсюду: положительный ли этот отзыв, жалоба ли это сообщение в WhatsApp, какой команде отдать обращение, срочное ли оно. До LLM для каждой задачи нужны были размеченный датасет и дообученная модель. Теперь можно начать с промпта. Это быстрее, но легко выпустить классификатор, который хорошо выглядит на десяти примерах и проваливается на диалекте Залива. В этой статье — промпт, формат вывода, тестирование и стоимость.
Какие задачи классификации подходят для LLM?
| Задача | Метки, например | Примечания |
|---|---|---|
| Тональность | positive, negative, neutral, mixed | На нейтральных и смешанных люди и модели расходятся сильнее всего |
| Намерение | complaint, question, order, cancel, other | Оставьте «other»: принудительная метка порождает ошибки |
| Маршрутизация обращений | billing, delivery, technical, account | Стройте метки по своим реальным командам |
| Срочность | urgent, normal | Определите «срочно» одной строкой: «клиент не может пользоваться сервисом прямо сейчас» |
| Диалект или письменность | MSA, Gulf, Egyptian, Levantine, Arabizi | Полезно для выбора нужного шаблона ответа; см. арабизи |
| Тематические теги | Несколько меток из фиксированного списка | Просите список и ограничивайте его длину |
LLM хорошо подходит, когда размеченных примеров мало, метки часто меняются или к каждой метке нужно обоснование. Дообученный классификатор подходит, когда метки стабильны, объём огромен и у вас уже есть тысячи размеченных примеров.
Что говорят исследования об LLM на арабском?
Перед началом стоит знать два результата:
- Дообученные арабские модели могут выигрывать. GPTAraEval проверила ChatGPT на 44 арабских задачах и обнаружила, что она “consistently surpassed by smaller models that have undergone finetuning on Arabic” (перевод: «стабильно уступает меньшим моделям, дообученным на арабском»). Авторы также отметили более слабые результаты на диалектах, чем на современном литературном арабском (Khondaker et al.).
- Промпты с учётом диалекта помогают. Исследование RANLP 2025, где DeepSeek-R1, Qwen2.5 и LLaMA-3 оценивались на анализе тональности на MSA, саудовском диалекте и марокканском дариджа, сообщает, что промпты с учётом диалекта повысили точность, особенно для нейтрального и отрицательного классов (Alharbi et al.).
Это более старые или другие модели, чем те, с которыми будете работать вы, поэтому воспринимайте их как направление, а не как цифры. Вывод остаётся в силе: измеряйте на своих сообщениях, по каждому диалекту.
Как спроектировать метки?
Начинайте отсюда, а не с модели.
- Держите список коротким. Четыре–восемь меток на вопрос. Разные вопросы (тональность, намерение, срочность) задавайте как отдельные поля, а не одним огромным списком.
- Определите каждую метку одной строкой, включая то, чем она не является: «complaint: клиент сообщает о проблеме с купленным. Не вопрос о цене».
- Добавьте запасную метку, например
otherилиunclear. - Заранее решите смешанные случаи. «Доставка опоздала, но курьер был вежлив» — смешанное, а не нейтральное. Запишите это правило.
Определения меток могут быть на английском, даже если текст арабский. Значения меток держите на английском, чтобы код не зависел от сравнения арабских строк.
Какой промпт работает для классификации арабского текста?
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
Зачем нужна каждая часть:
- Строка о диалектах говорит модели, чего ожидать, — это и есть промпт с учётом диалекта, который исследование RANLP признало полезным.
- Примеры больше чем на одном диалекте. Примеры выше смешивают диалект Залива и египетский. Используйте реальные (обезличенные) сообщения из своего трафика.
- Обоснование в виде цитаты позволяет проверяющему за секунду проверить метку, и догадки модели становится легче заметить.
reasoning_effort="low". Qwen3.8 27B, GLM 5.3 и DeepSeek V4.1 Flash рассуждают перед ответом, и рассуждения входят вmax_tokens. Документация BroadNet советует ставитьreasoning_effortвlowили оставлять 1 000 токенов и больше. Почему иначе ответы приходят пустыми.- Отбрасывайте неизвестные метки в коде. Никогда не полагайтесь на то, что модель останется в рамках списка.
Более строгий контракт вывода описан в статье JSON mode или json_schema. BroadNet указывает структурированный вывод для GLM 5.3 и Qwen3.8 27B.
Какую модель BroadNet использовать?
| Модель | Почему её выбрать | Вход / выход за 1 млн токенов |
|---|---|---|
| Qwen3.8 27B | Протестирована BroadNet на арабском: понимает диалекты Залива и египетский; структурированный вывод указан | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | Самая низкая цена за токен на BroadNet; работает на стартовом гранте $5; структурированный вывод не указан, поэтому строго проверяйте вывод | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | Есть и на тарифе с фиксированной ценой — $60 в месяц за сессию, один запрос за раз | $0.175 / $0.52 |
| GLM 5.3 | Структурированный вывод указан; самая высокая цена из четырёх | $0.78 / $3.46 |
Сначала прогоните тестовый набор на Qwen3.8 27B и Gemma 4 VL 26B. Если оценки Gemma достаточно близки, для коротких меток она дешевле. Выбирайте по своим цифрам, а не по этой таблице.
Как тестировать классификатор?
- Разметьте вручную 200 реальных сообщений вместе с носителем языка по определениям меток выше. Включите все диалекты, которые к вам приходят, не меньше 30 на каждый.
- Прогоните модель на всех 200.
- Посчитайте macro F1 — среднее F1 по меткам, чтобы редкие метки весили столько же, сколько частые. Одна лишь точность (accuracy) скрывает модель, которая никогда не говорит
cancel. - Прочитайте матрицу ошибок. Если
questionиcomplaintчасто путаются, определения пересекаются: исправьте определения, прежде чем менять модель. - Разбейте результаты по диалектам. Модель может быть сильной на MSA и слабой на диалекте Залива.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
Прогоняйте тот же набор каждый раз, когда меняете промпт или модель. Как держать фиксированный тестовый набор, рассказывает статья как оценить LLM перед переходом.
Как классифицировать на больших объёмах?
Классификация нагружает в основном вход: длинный системный промпт, короткое сообщение и ответ из одного слова. Важны три рычага.
Группируйте сообщения в запросы. Ключ BroadNet с оплатой по факту разрешает 30 запросов в минуту и 4 одновременных запросов. Одно сообщение на запрос ограничивает вас 30 сообщениями в минуту на ключ, или в 1440 раз большим числом в день. Отправьте 20 коротких сообщений нумерованным списком и попросите JSON-массив из 20 результатов: тот же лимит запросов покроет в двадцать раз больше сообщений. Проверяйте, что длина массива совпадает и у каждого элемента есть свой номер.
Держите префикс промпта одинаковым. Системный промпт и примеры одинаковы в каждом вызове. Ставьте их первыми, а сообщение — последним, чтобы они читались из кэша по цене входа из кэша, например $0.0435 вместо $0.175 за 1 млн на Qwen3.8 27B. Как структурировать промпты, чтобы префикс кэшировался.
Держите вывод коротким. Выходные токены стоят дороже входных. Метки и короткой цитаты достаточно; когда начнёте доверять модели, уберите поле с обоснованием.
На арабское слово обычно приходится больше токенов, чем на английское, поэтому посчитайте образец своих сообщений в счётчике арабских токенов, а затем оцените месяц в калькуляторе стоимости LLM API.
Каких ошибок избегать?
- Тестирование на переводах с английского. Переведённый текст — не то, как пишут ваши клиенты.
- Одна оценка на все диалекты. Показывайте каждый диалект отдельно.
- Нет запасной метки. Если загонять каждое сообщение в реальную метку, ошибок становится больше.
- Ответы свободным текстом. «Кажется, негативно» не разобрать программно. Просите JSON и проверяйте его.
- Игнорирование сарказма. «ما شاء الله، ثالث مرة يتأخر الطلب» по отдельным словам звучит позитивно, а на деле это жалоба. Добавьте похожий пример в промпт.
Когда LLM — неподходящий классификатор?
Когда метки стабильны, у вас уже есть тысячи размеченных примеров, а объём исчисляется миллионами, дообученная арабская модель-энкодер обычно дешевле в расчёте на сообщение и, согласно GPTAraEval, может быть точнее. Для больших офлайн-заданий, которые могут подождать, провайдер с batch API тоже может обойтись дешевле: OpenAI заявляет скидку 50% на пакетные задания, выполняемые в течение 24 часов. У BroadNet batch API нет. Распространённый подход — разметить первые несколько тысяч сообщений с помощью LLM, проверить их вручную и обучить на результате небольшую модель.
Место BroadNet Inference
BroadNet даёт проверенную на арабском модель (Qwen3.8 27B), дешёвую модель на стартовом гранте (Gemma 4 VL 26B) и вариант с фиксированной ценой (DeepSeek V4.1 Flash) под одним OpenAI-совместимым ключом, без хранения содержимого сообщений после запроса. Это подходит командам поддержки, которые хотят классифицировать арабские сообщения, не строя конвейер обучения. И не подходит для очень больших офлайн-заданий, где пакетная скидка или дообученная модель обойдутся дешевле. Начните с промпта выше, теста на 200 сообщениях и статьи о диалектах Залива, Египта и Леванта, чтобы собрать тестовый набор.
