BroadRouter

Суммаризация арабского текста с LLM: промпты, длина и оценка

Команда BroadNet Inference · 7 мин чтения · Опубликовано · Обновлено

Укажите в промпте регистр (обычно современный литературный арабский, даже для диалектного текста) и диапазон слов. Затем проверьте в коде: посчитайте слова, убедитесь, что каждое число из резюме есть в исходнике, и при ошибке повторите запрос один раз, назвав проблему. Оценивайте ROUGE с токенизатором, понимающим арабский, плюс ручной проверкой: стандартный rouge-score даёт арабскому 0.

Чтобы пересказать арабский текст с помощью LLM, хватит одного запроса. Чтобы получить резюме, которые можно отдавать в продакшен, нужны три решения, которые запрос за вас не примет: на каком регистре писать, какой длины должно быть резюме и как вы поймёте, что оно верное. Эта статья — о письменных текстах: статьях, отчётах, тикетах и длинных цепочках сообщений. Для устных встреч пайплайн протоколов арабских встреч добавляет шаг транскрибации и слияние по разделам.

Что должно быть в промпте для арабской суммаризации?

Большую часть результата определяют пять строк:

  1. Язык и регистр. «Современный литературный арабский» (الفصحى) или конкретный диалект. Без этого модель, пересказывающая египетский текст или текст Залива, может ответить смесью.
  2. Диапазон слов. «От 40 до 60 слов». В диапазон попасть проще, чем в точное число.
  3. Факты как в тексте. Числа, даты и имена копируются из текста, без округления и пересчёта.
  4. Ничего нового. Никакого фона, которого нет в тексте.
  5. Форма. Один абзац, три пункта списка или JSON с фиксированными полями.

Инструкции можно писать по-арабски или по-английски; в любом случае явно укажите язык и регистр ответа. Подробнее о регистре, цифрах и тексте со смешанной письменностью — в статье о промпт-инжиниринге для арабского. Вот промпт, который используется в коде ниже:

لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

Как пересказывать диалектный текст?

Большая часть деловых текстов на арабском написана не на MSA: отзывы клиентов, переписки в WhatsApp и посты в соцсетях идут на диалекте, часто вперемешку с английским или арабизи. Помогают три решения:

  • По умолчанию пишите резюме на MSA. Он нейтрален для всех регионов, и по нему проще искать. Если резюме возвращается тому же клиенту, наоборот, подстройтесь под его диалект.
  • Ключевые цитаты оставляйте дословно. Когда важен тон, например в жалобе, просите одну короткую цитату в исходной формулировке. Пересказ диалекта на MSA может её смягчить.
  • Тестируйте на своих диалектах. Понимание диалектов у моделей разное; см. статью о том, как LLM справляются с арабским Залива и египетским.

Открытые данные это тестирование за вас не сделают. Крупные арабские наборы для суммаризации — новости на MSA, и открытого бенчмарка суммаризации для диалектов Залива или египетского мы не нашли.

Как управлять длиной резюме?

Просите в словах и измеряйте в словах. Не доверяйте подсчёту самой модели и не используйте бюджет токенов как единицу: число токенов на арабское слово зависит от модели. Мы измерили новостной абзац из 96 арабских слов официальным токенизатором Qwen3.8 27B — 166 токенов, а его резюме из 58 слов — 114 токенов. С токенизаторами четырёх чат-моделей BroadNet, посчитанными по файлам токенизаторов из счётчика арабских токенов, тот же абзац занял от 166 до 224 токенов. Более крупное измерение — в статье о числе токенов на слово в арабском.

Для большинства задач правильно считать по пробелам: так текст видит читатель. В арабском و, ب, ل и ال пишутся слитно со словом, поэтому резюме из 50 арабских слов несёт больше содержания, чем 50 английских слов. Задавайте диапазон по арабским примерам, которые вам нравятся, а не по английскому ориентиру.

Ещё два правила о длине:

  • max_tokens не управляет длиной. Он обрывает ответ на полуслове. Ставьте его с большим запасом над размером резюме, особенно у моделей с рассуждениями: в документации BroadNet сказано, что DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом и эти рассуждения входят в max_tokens. См. руководство о пустых ответах моделей с рассуждениями.
  • Повторяйте один раз, с числом. «В вашем резюме 17 слов, а я просил от 40 до 60» исправляет больше, чем повтор инструкции.

Как ловить выдуманные детали?

Абстрактивные модели суммаризации выдумывают. Maynez et al. (ACL 2020) нашли “substantial amounts of hallucinated content” (перевод: «значительный объём галлюцинированного содержания») во всех резюме моделей, которые просмотрели их аннотаторы; это было до нынешних LLM, но иммунитета нет ни у одной модели. Дёшево проверить смысл в коде нельзя, а числа — можно: каждое число из резюме должно встречаться в исходнике. Сначала переведите восточноарабские цифры (٠–٩) и персидские цифры (۰–۹) в 0–9, иначе ١٢ и 12 будут выглядеть разными.

import os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

النص:
{text}"""

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
    return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))

def words(s: str) -> int:
    return len(s.split())          # clitics (و، ال، ب) stay attached: count what readers see

def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
    issues = []
    n = words(summary)
    if not lo <= n <= hi:
        issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
    extra = numbers(summary) - numbers(source)
    if extra:
        issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
    return issues

def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
    messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
    for i in range(attempts):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
        summary = (r.choices[0].message.content or "").strip()
        issues = check(text, summary, lo, hi)
        if not issues:
            return {"summary": summary, "attempts": i + 1, "issues": []}
        messages += [{"role": "assistant", "content": summary},
                     {"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
    return {"summary": summary, "attempts": attempts, "issues": issues}   # send to review

Мы проверили это на локальном mock-сервере (без реального вызова API) с синтетической статьёй из 96 слов о городском плане по автобусам. Первый ответ mock-сервера состоял из 17 слов и называл ٣٠٠ автобусов, тогда как в статье было ٢٤٠. check вернула обе проблемы: измеренную длину и «числа, которых нет в тексте: 300». Второй, исправленный ответ прошёл с 58 словами, и функция вернула его с attempts: 2.

Проверка чисел пропускает многое: неверное имя, перевёрнутое решение, утверждение без чисел. Это фильтр, а не вердикт. Для имён используйте проверку спанов из статьи об извлечении именованных сущностей из арабского текста: извлеките сущности из резюме и убедитесь, что каждая есть в исходнике.

Как пересказывать длинные арабские документы?

Если текст помещается в контекстное окно с запасом, отправляйте его целиком. Qwen3.8 27B принимает 262 144 токена на запрос, а GLM 5.3 — 1 048 576, промпт и ответ вместе; Gemma 4 VL 26B — 32 768. Но у длинных входов есть известная слабость: факты из середины длинного контекста модели используют менее надёжно (lost in the middle). Для длинного отчёта пересказывайте каждый раздел, затем пересказывайте резюме разделов и сохраняйте заголовки разделов в финальном промпте. В статье о встречах шаг слияния показан в коде; когда лучше использовать поиск, разобрано в статье длинный контекст или RAG.

Как оценивать арабские резюме?

Используйте три уровня: автоматическую метрику перекрытия, чтобы ловить регрессии, семантическую метрику как второе мнение и людей для окончательного решения.

ROUGE, но с правильным токенизатором. Пакет rouge-score от Google (версия 0.1.2, по-прежнему текущий релиз на PyPI на 16 ноября 2026 г.) приводит текст к нижнему регистру и заменяет пробелом каждый символ вне a–z и 0–9. Арабский исчезает. Мы проверили:

import re
from rouge_score import rouge_scorer

ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"

print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure)   # 0.0

class ArabicTokenizer:
    """Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
    def __init__(self, strip_prefixes=False):
        self.strip = strip_prefixes
    def tokenize(self, text):
        text = re.sub(r"[ً-ٰٟـ]", "", text)
        text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
        toks = re.findall(r"\w+", text)
        if self.strip:   # crude: drop و/ب/ل/ال prefixes on longer words
            toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
        return toks

for strip in (False, True):
    s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
    print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3))   # False 0.6, True 0.8

Одни и те же два предложения получают 0, 0,6 или 0,8 только в зависимости от токенизации. Это и есть главный урок: арабская морфология (للنقل против النقل, بإضافة против تضيف) сильно сдвигает ROUGE, поэтому оценка без указания токенизатора ничего не значит. Авторы XL-Sum публикуют многоязычный форк ROUGE со стеммингом для отдельных языков, включая арабский; используйте его или собственный токенизатор и не меняйте его между прогонами, которые сравниваете.

BERTScore сравнивает смысл через эмбеддинги, поэтому терпим к перефразированию. Для языков, кроме английского и китайского, его модель по умолчанию — bert-base-multilingual-cased. Считайте его вторым сигналом, а не заменой чтению.

Люди, с рубрикой. Попросите читателя-арабиста оценить 50–100 резюме по трём вопросам: не пропущено ли что-то важное, нет ли утверждений, которых нет в исходнике, и верен ли регистр. LLM-судья может проводить предварительный отсев на больших объёмах, когда его оценки совпадут с оценками ваших читателей на выборке. Как собрать такой набор, рассказано в статье об оценке LLM перед переходом.

Открытые эталонные данные:

Датасет Что содержит Примечания
XL-Sum, арабская часть 46 897 пар «статья BBC Arabic — резюме» (37 519 / 4 689 / 4 689) CC BY-NC-SA 4.0: только некоммерческие исследования
EASC 153 статьи, к каждой пять экстрактивных резюме, написанных людьми Маленький; Википедия и две газеты
LANS 8,4 млн статей с резюме из 22 арабских газет, 1999–2019 Резюме взяты из метаданных сайтов

Все три — новости на MSA. Ваши тикеты поддержки и отчёты — нет, поэтому решающий тест — выборка ваших собственных текстов, пересказанных человеком.

Какую модель BroadNet выбрать и сколько это стоит?

Для пилота Gemma 4 VL 26B работает на стартовом кредите $5 по цене $0.10 за вход и $0.22 за выход на 1 млн токенов; её окна в 32 768 токенов хватает для большинства отдельных статей. Qwen3.8 27B, которую, по данным BroadNet, тестировали на беглое письмо на арабском и понимание диалектов Залива и египетского, стоит $0.175 за вход и $2.17 за выход после пополнения. GLM 5.3 берите, когда один документ длиннее окна Qwen.

Расчёт для 10 000 статей по 1 000 токенов с резюме по 150 токенов: 10 млн входных токенов и 1,5 млн выходных, то есть на Qwen3.8 27B это 10 × $0.175 плюс 1,5 × $2.17. Прибавьте токены рассуждений, которые тарифицируются как выход, и повторные запросы; измерьте и то и другое на выборке по блоку usage. Если промпт одинаков для всех статей, ставьте его в начало, чтобы он мог тарифицироваться по ставке входа из кэша.

Место BroadNet Inference

BroadRouter — собственный сайт BroadNet. BroadNet Inference выполняет шаг суммаризации через OpenAI-совместимый API, так что код выше работает с OpenAI Python SDK. В её документации сказано, что промпты и ответы не хранятся после запроса. Собственного бенчмарка арабской суммаризации она не публикует, и ничто в этой статье не измеряет качество резюме на её моделях; запустите описанные проверки на своих текстах. Для устной речи сочетайте её с BroadNet Transcribe Arabic, как в статье о протоколах встреч.

Вопросы и ответы

Может ли LLM хорошо пересказать арабский текст?

Да, но гладко — не значит точно. Проверяйте длину и числа в коде, а прежде чем полагаться на результат, попросите читателя-арабиста оценить выборку на пропущенные пункты и выдуманные детали.

Резюме диалектного текста писать на диалекте или на MSA?

Обычно на MSA: он звучит нейтрально и удобен для поиска во всех регионах. Короткие цитаты оставляйте на исходном диалекте, когда важна формулировка, например в жалобе. Укажите выбор в промпте, иначе модели скачут между вариантами.

Почему ROUGE ставит моим арабским резюме 0?

Популярный Python-пакет rouge-score по умолчанию заменяет пробелами все символы вне a-z и 0-9, поэтому арабский текст не даёт ни одного токена. Передайте собственный токенизатор или используйте многоязычный форк ROUGE от авторов XL-Sum.

Как управлять длиной резюме на арабском?

Просите диапазон слов, а не число токенов, и измеряйте ответ разбиением по пробелам. Если промах — отправьте запрос ещё раз с измеренной длиной. Помните, что к арабским словам часто прикреплены приставки, поэтому резюме из 50 арабских слов вмещает больше смысла, чем 50 английских слов.

На каком датасете проверить суммаризацию арабского?

В XL-Sum 46 897 арабских пар «статья BBC — резюме» (некоммерческая лицензия). В EASC 153 статьи, к каждой по пять экстрактивных резюме, написанных людьми. Оба — новости на MSA, поэтому добавьте выборку своих текстов, особенно диалектных.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity

Источники