---
title: "Анализ тональности и классификация арабского текста LLM"
description: "Классификация арабских отзывов, сообщений и обращений через LLM API: метки, промпт с учётом диалектов, вывод в JSON, проверка по macro F1 и цена на объёме."
url: https://broadrouter.com/ru/blog/arabic-text-classification-llm/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/arabic-text-classification-llm/) (обновлён 2026-11-16).

# Классификация арабского текста с LLM: тональность, интенты, тикеты

Команда BroadNet Inference · 7 мин чтения · Опубликовано 2026-11-15 · Обновлено 2026-11-16

Чтобы классифицировать арабский текст с помощью LLM, задайте короткий набор меток с определениями в одну строку, дайте несколько размеченных примеров на каждом встречающемся диалекте, просите JSON с одной меткой и короткой цитатой-обоснованием и ставьте низкий уровень рассуждений. Прежде чем доверять модели, оцените её на 200 размеченных вручную сообщениях по macro F1. Дообученные арабские модели всё ещё могут обойти универсальную LLM.

## Главное

-   Сначала напишите метки и их определения. Большинство ошибок классификации вызваны расплывчатыми метками, а не моделью.
-   Включайте примеры на каждом диалекте, который к вам приходит. Исследование 2025 года показало, что промпты с учётом диалекта повышают точность анализа тональности на арабском.
-   Просите JSON с одной меткой и цитатой из текста и держите вывод коротким: выходные токены стоят дороже входных.
-   Оценивайте на своём размеченном наборе по macro F1 и матрице ошибок. Нейтральные и смешанные сообщения — то место, где модели расходятся с людьми.
-   Чтобы уложиться в лимиты запросов, кладите много коротких сообщений в один запрос: ключ BroadNet с оплатой по факту разрешает 30 запросов в минуту.

**На этой странице**

1.  Какие задачи классификации подходят для LLM?
2.  Что говорят исследования об LLM на арабском?
3.  Как спроектировать метки?
4.  Какой промпт работает для классификации арабского текста?
5.  Какую модель BroadNet использовать?
6.  Как тестировать классификатор?
7.  Как классифицировать на больших объёмах?
8.  Каких ошибок избегать?
9.  Когда LLM — неподходящий классификатор?
10.  Место BroadNet Inference

Задачи классификации арабского текста встречаются повсюду: положительный ли этот отзыв, жалоба ли это сообщение в WhatsApp, какой команде отдать обращение, срочное ли оно. До LLM для каждой задачи нужны были размеченный датасет и дообученная модель. Теперь можно начать с промпта. Это быстрее, но легко выпустить классификатор, который хорошо выглядит на десяти примерах и проваливается на диалекте Залива. В этой статье — промпт, формат вывода, тестирование и стоимость.

## Какие задачи классификации подходят для LLM?

| Задача | Метки, например | Примечания |
| --- | --- | --- |
| Тональность | positive, negative, neutral, mixed | На нейтральных и смешанных люди и модели расходятся сильнее всего |
| Намерение | complaint, question, order, cancel, other | Оставьте «other»: принудительная метка порождает ошибки |
| Маршрутизация обращений | billing, delivery, technical, account | Стройте метки по своим реальным командам |
| Срочность | urgent, normal | Определите «срочно» одной строкой: «клиент не может пользоваться сервисом прямо сейчас» |
| Диалект или письменность | MSA, Gulf, Egyptian, Levantine, Arabizi | Полезно для выбора нужного шаблона ответа; см. [арабизи](https://broadrouter.com/ru/blog/arabizi-llm-handling/) |
| Тематические теги | Несколько меток из фиксированного списка | Просите список и ограничивайте его длину |

LLM хорошо подходит, когда размеченных примеров мало, метки часто меняются или к каждой метке нужно обоснование. Дообученный классификатор подходит, когда метки стабильны, объём огромен и у вас уже есть тысячи размеченных примеров.

## Что говорят исследования об LLM на арабском?

Перед началом стоит знать два результата:

-   **Дообученные арабские модели могут выигрывать.** GPTAraEval проверила ChatGPT на 44 арабских задачах и обнаружила, что она “consistently surpassed by smaller models that have undergone finetuning on Arabic” (перевод: «стабильно уступает меньшим моделям, дообученным на арабском»). Авторы также отметили более слабые результаты на диалектах, чем на современном литературном арабском ([Khondaker et al.](https://arxiv.org/abs/2305.14976)).
-   **Промпты с учётом диалекта помогают.** Исследование RANLP 2025, где DeepSeek-R1, Qwen2.5 и LLaMA-3 оценивались на анализе тональности на MSA, саудовском диалекте и марокканском дариджа, сообщает, что промпты с учётом диалекта повысили точность, особенно для нейтрального и отрицательного классов ([Alharbi et al.](https://aclanthology.org/2025.ranlp-1.8/)).

Это более старые или другие модели, чем те, с которыми будете работать вы, поэтому воспринимайте их как направление, а не как цифры. Вывод остаётся в силе: измеряйте на своих сообщениях, по каждому диалекту.

## Как спроектировать метки?

Начинайте отсюда, а не с модели.

1.  **Держите список коротким.** Четыре–восемь меток на вопрос. Разные вопросы (тональность, намерение, срочность) задавайте как отдельные поля, а не одним огромным списком.
2.  **Определите каждую метку одной строкой**, включая то, чем она не является: «complaint: клиент сообщает о проблеме с купленным. Не вопрос о цене».
3.  **Добавьте запасную метку**, например `other` или `unclear`.
4.  **Заранее решите смешанные случаи.** «Доставка опоздала, но курьер был вежлив» — смешанное, а не нейтральное. Запишите это правило.

Определения меток могут быть на английском, даже если текст арабский. Значения меток держите на английском, чтобы код не зависел от сравнения арабских строк.

## Какой промпт работает для классификации арабского текста?

```python
import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out
```

Зачем нужна каждая часть:

-   **Строка о диалектах** говорит модели, чего ожидать, — это и есть промпт с учётом диалекта, который исследование RANLP признало полезным.
-   **Примеры больше чем на одном диалекте.** Примеры выше смешивают диалект Залива и египетский. Используйте реальные (обезличенные) сообщения из своего трафика.
-   **Обоснование в виде цитаты** позволяет проверяющему за секунду проверить метку, и догадки модели становится легче заметить.
-   **`reasoning_effort="low"`.** Qwen3.8 27B, GLM 5.3 и DeepSeek V4.1 Flash рассуждают перед ответом, и рассуждения входят в `max_tokens`. Документация BroadNet советует ставить `reasoning_effort` в `low` или оставлять 1 000 токенов и больше. [Почему иначе ответы приходят пустыми](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/).
-   **Отбрасывайте неизвестные метки в коде.** Никогда не полагайтесь на то, что модель останется в рамках списка.

Более строгий контракт вывода описан в статье [JSON mode или json\_schema](https://broadrouter.com/ru/blog/structured-output-json-schema/). BroadNet указывает структурированный вывод для GLM 5.3 и Qwen3.8 27B.

## Какую модель BroadNet использовать?

| Модель | Почему её выбрать | Вход / выход за 1 млн токенов |
| --- | --- | --- |
| [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/) | Протестирована BroadNet на арабском: понимает диалекты Залива и египетский; структурированный вывод указан | $0.175 / $2.17 |
| [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/) | Самая низкая цена за токен на BroadNet; работает на стартовом гранте $5; структурированный вывод не указан, поэтому строго проверяйте вывод | $0.10 / $0.22 |
| [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/) | Есть и на тарифе с фиксированной ценой — $60 в месяц за сессию, один запрос за раз | $0.175 / $0.52 |
| [GLM 5.3](https://broadrouter.com/ru/models/glm-5.3/) | Структурированный вывод указан; самая высокая цена из четырёх | $0.78 / $3.46 |

Сначала прогоните тестовый набор на Qwen3.8 27B и Gemma 4 VL 26B. Если оценки Gemma достаточно близки, для коротких меток она дешевле. Выбирайте по своим цифрам, а не по этой таблице.

## Как тестировать классификатор?

1.  **Разметьте вручную 200 реальных сообщений** вместе с носителем языка по определениям меток выше. Включите все диалекты, которые к вам приходят, не меньше 30 на каждый.
2.  **Прогоните модель на всех 200.**
3.  **Посчитайте macro F1** — среднее F1 по меткам, чтобы редкие метки весили столько же, сколько частые. Одна лишь точность (accuracy) скрывает модель, которая никогда не говорит `cancel`.
4.  **Прочитайте матрицу ошибок.** Если `question` и `complaint` часто путаются, определения пересекаются: исправьте определения, прежде чем менять модель.
5.  **Разбейте результаты по диалектам.** Модель может быть сильной на MSA и слабой на диалекте Залива.

```python
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
```

Прогоняйте тот же набор каждый раз, когда меняете промпт или модель. Как держать фиксированный тестовый набор, рассказывает статья [как оценить LLM перед переходом](https://broadrouter.com/ru/blog/evaluate-llm-before-switching/).

## Как классифицировать на больших объёмах?

Классификация нагружает в основном вход: длинный системный промпт, короткое сообщение и ответ из одного слова. Важны три рычага.

**Группируйте сообщения в запросы.** Ключ BroadNet с оплатой по факту разрешает 30 запросов в минуту и 4 одновременных запросов. Одно сообщение на запрос ограничивает вас 30 сообщениями в минуту на ключ, или в 1440 раз большим числом в день. Отправьте 20 коротких сообщений нумерованным списком и попросите JSON-массив из 20 результатов: тот же лимит запросов покроет в двадцать раз больше сообщений. Проверяйте, что длина массива совпадает и у каждого элемента есть свой номер.

**Держите префикс промпта одинаковым.** Системный промпт и примеры одинаковы в каждом вызове. Ставьте их первыми, а сообщение — последним, чтобы они читались из кэша по цене входа из кэша, например $0.0435 вместо $0.175 за 1 млн на Qwen3.8 27B. [Как структурировать промпты, чтобы префикс кэшировался](https://broadrouter.com/ru/blog/prompt-structure-for-caching/).

**Держите вывод коротким.** Выходные токены стоят дороже входных. Метки и короткой цитаты достаточно; когда начнёте доверять модели, уберите поле с обоснованием.

На арабское слово обычно приходится больше токенов, чем на английское, поэтому посчитайте образец своих сообщений в [счётчике арабских токенов](https://broadrouter.com/tools/arabic-token-counter/), а затем оцените месяц в [калькуляторе стоимости LLM API](https://broadrouter.com/tools/llm-api-cost-calculator/).

## Каких ошибок избегать?

-   **Тестирование на переводах с английского.** Переведённый текст — не то, как пишут ваши клиенты.
-   **Одна оценка на все диалекты.** Показывайте каждый диалект отдельно.
-   **Нет запасной метки.** Если загонять каждое сообщение в реальную метку, ошибок становится больше.
-   **Ответы свободным текстом.** «Кажется, негативно» не разобрать программно. Просите JSON и проверяйте его.
-   **Игнорирование сарказма.** «ما شاء الله، ثالث مرة يتأخر الطلب» по отдельным словам звучит позитивно, а на деле это жалоба. Добавьте похожий пример в промпт.

## Когда LLM — неподходящий классификатор?

Когда метки стабильны, у вас уже есть тысячи размеченных примеров, а объём исчисляется миллионами, дообученная арабская модель-энкодер обычно дешевле в расчёте на сообщение и, согласно GPTAraEval, может быть точнее. Для больших офлайн-заданий, которые могут подождать, провайдер с batch API тоже может обойтись дешевле: OpenAI заявляет скидку 50% на пакетные задания, выполняемые в течение 24 часов. У BroadNet batch API нет. Распространённый подход — разметить первые несколько тысяч сообщений с помощью LLM, проверить их вручную и обучить на результате небольшую модель.

## Место BroadNet Inference

BroadNet даёт проверенную на арабском модель (Qwen3.8 27B), дешёвую модель на стартовом гранте (Gemma 4 VL 26B) и вариант с фиксированной ценой (DeepSeek V4.1 Flash) под одним OpenAI-совместимым ключом, без хранения содержимого сообщений после запроса. Это подходит командам поддержки, которые хотят классифицировать арабские сообщения, не строя конвейер обучения. И не подходит для очень больших офлайн-заданий, где пакетная скидка или дообученная модель обойдутся дешевле. Начните с промпта выше, теста на 200 сообщениях и статьи о [диалектах Залива, Египта и Леванта](https://broadrouter.com/ru/blog/arabic-llm-gulf-egyptian-dialects/), чтобы собрать тестовый набор.

Бесплатные инструменты по теме (на английском)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/)

Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

[Eval (оценка LLM)](https://broadrouter.com/ru/glossary/eval/)

Eval (сокращение от evaluation, «оценка») — это воспроизводимый тест языковой модели или промпта: фиксированный набор входов, описание того, как выглядит хороший ответ, и оценщик (код, человек или другая модель), который выставляет оценку каждому ответу, чтобы версии можно было сравнивать.

[Арабизи (Arabizi)](https://broadrouter.com/ru/glossary/arabizi/)

Арабизи — это неформальная запись арабского латинскими буквами, где арабские звуки без латинского аналога передаются цифрами, например 3 вместо ع. Он распространён в чатах и соцсетях, в основном диалектный, не имеет стандартной орфографии и часто перемешан с английским или французским.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

[Batch API (пакетная обработка запросов)](https://broadrouter.com/ru/glossary/batch-api/)

Batch API — это асинхронный эндпоинт LLM, который принимает сразу много запросов, обычно в виде файла, обрабатывает их не немедленно, а в пределах заданного окна, и возвращает результаты вместе. Такие провайдеры, как OpenAI и Anthropic, берут за пакетные запросы меньше, чем в своих стандартных API.

[Входные и выходные токены (input and output tokens)](https://broadrouter.com/ru/glossary/input-and-output-tokens/)

Входные токены — это токены, которые языковая модель читает в запросе: системный промпт, история диалога, описания инструментов и изображения. Выходные токены — это токены, которые она генерирует в ответ, включая рассуждения. LLM API обычно тарифицируют их по отдельности, и выход, как правило, дороже.

## Вопросы и ответы

### Может ли LLM делать анализ тональности арабского текста?

Да, без обучения — если дать ей в промпте метки и примеры. Качество зависит от диалекта и класса: в опубликованных тестах модели на многих задачах уступают дообученным арабским моделям, а на диалектах результаты ниже, чем на современном литературном арабском. Измерьте это на своих данных.

### Лучше ли LLM для классификации, чем дообученная арабская модель BERT?

Не всегда. GPTAraEval обнаружила, что на 44 задачах ChatGPT "consistently surpassed by smaller models that have undergone finetuning on Arabic" (перевод: «стабильно уступает меньшим моделям, дообученным на арабском»). LLM выигрывает, когда размеченных примеров мало, метки часто меняются или к каждой метке нужно обоснование.

### Как классифицировать сообщения на диалектах Залива и египетском?

Дайте модели размеченные примеры на каждом диалекте, укажите, каких диалектов ждать, и оценивайте каждый диалект отдельно. Модель, хорошо справляющаяся с египетскими отзывами, всё равно может пропустить сарказм на диалекте Залива.

### Как каждый раз получать стабильную метку?

Используйте фиксированный список меток, просите JSON только с этими значениями, ставьте temperature в 0 и отбрасывайте любой ответ не из списка. Отправляйте одни и те же примеры в одном и том же порядке, чтобы результаты воспроизводились.

### Сколько сообщений в день можно классифицировать на BroadNet?

Ключ с оплатой по факту разрешает 30 запросов в минуту и 4 одновременно. При одном сообщении на запрос это не больше 30 сообщений в минуту на ключ, или в 1440 раз больше в день. Если класть в каждый запрос по 20 коротких сообщений, объём вырастает в двадцать раз в пределах контекста.

### Есть ли у BroadNet batch API для массовой классификации?

Нет. BroadNet документирует только chat completions и транскрибацию. Для больших офлайн-заданий группируйте сообщения в запросы или рассмотрите провайдера с batch API; OpenAI заявляет для своего Batch API скидку 50% при окне 24 часа.

## Читайте также

-   [Арабский Залива, египетский и левантийский: как LLM понимают диалекты](https://broadrouter.com/ru/blog/arabic-llm-gulf-egyptian-dialects/)
-   [Арабизи и LLM: как работать с франко-арабским и цифрами 3 и 7](https://broadrouter.com/ru/blog/arabizi-llm-handling/)
-   [JSON mode или json\_schema: надёжный структурированный вывод LLM](https://broadrouter.com/ru/blog/structured-output-json-schema/)
-   [Промпт-инжиниринг для арабского: регистр, RTL, цифры и смешанный текст](https://broadrouter.com/ru/blog/arabic-prompt-engineering/)
-   [Как оценить LLM перед сменой провайдера](https://broadrouter.com/ru/blog/evaluate-llm-before-switching/)
-   [Как структурировать промпты, чтобы префикс кэшировался](https://broadrouter.com/ru/blog/prompt-structure-for-caching/)
-   [Извлечение именованных сущностей из арабского с LLM: JSON и даты](https://broadrouter.com/ru/blog/arabic-named-entity-extraction-llm/)
-   [Пакетная обработка LLM без Batch API: возобновляемый раннер](https://broadrouter.com/ru/blog/llm-batch-processing-without-batch-api/)
-   [Огласовки в арабском тексте через LLM: промпт, проверка, DER](https://broadrouter.com/ru/blog/arabic-diacritization-llm/)
-   [Проверка арабской орфографии и грамматики через LLM: руководство](https://broadrouter.com/ru/blog/arabic-grammar-spelling-correction-llm/)
-   [Руководство: Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/)
-   [Руководство: Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-arabic-text-classification-llm&utm_content=page-cta) ·

**Источники**

-   [Справочник BroadNet Inference API: модели, структурированный вывод, reasoning\_effort, лимиты оплаты по факту и почасовых ключей (проверено 2026-11-15) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-arabic-text-classification-llm&utm_content=sources)
-   [Страница цен BroadNet Inference: пометка «Tested in Arabic» у Qwen3.8 27B и цены за токены (проверено 2026-11-15) (на английском)](https://inference.broadnet.ai/pricing?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-arabic-text-classification-llm&utm_content=sources)
-   [Alharbi et al., Evaluating Large Language Models on Sentiment Analysis in Arabic Dialects, RANLP 2025 (проверено 2026-11-15)](https://aclanthology.org/2025.ranlp-1.8/)
-   [Khondaker et al., GPTAraEval: A Comprehensive Evaluation of ChatGPT on Arabic NLP (arXiv 2305.14976; проверено 2026-11-15)](https://arxiv.org/abs/2305.14976)
-   [Руководство OpenAI по Batch API: скидка 50%, окно 24 часа (проверено 2026-11-15)](https://developers.openai.com/api/docs/guides/batch)
