BroadRouter

用大模型做阿拉伯语文本摘要:提示词、长度控制与评分

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 · 更新于

在提示词里写明语体(通常是现代标准阿拉伯语,方言输入也一样)和字数范围。然后在代码里检查:数词数,确认摘要里的每个数字都出现在原文中,有问题就说明问题重试一次。评分用支持阿拉伯语的 ROUGE 分词器加人工审阅;默认的 rouge-score 会给阿拉伯语打 0 分。

用大模型摘要阿拉伯语文本,一个请求就够了。但要得到能上线的摘要,还得做三个请求本身不会替你做的决定:用什么语体写、摘要该多长、以及怎么知道它是对的。本文讨论书面文本:文章、报告、工单和很长的消息串。如果是口头会议,阿拉伯语会议纪要流水线多了转写步骤和逐段合并。

阿拉伯语摘要的提示词应该写什么?

结果好坏主要取决于五行:

  1. 语言和语体。“现代标准阿拉伯语”(الفصحى),或者指定一种方言。不写的话,模型摘要埃及方言或海湾方言输入时,可能会混着回答。
  2. 字数范围。“40 到 60 个词”。范围比精确数字更容易达到。
  3. **事实照原文。**数字、日期和名字从原文照抄,不四舍五入,不换算。
  4. **不加新内容。**不补充原文中没有的背景。
  5. **格式。**一段话,或三个要点,或字段固定的 JSON。

指令用阿拉伯语或英语写都可以;无论哪种,都要明确写出输出语言和语体。阿拉伯语提示词工程更深入地讲了语体、数字写法和混合文字。下面是后文代码中使用的提示词:

لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

方言文本怎么摘要?

大多数阿拉伯语业务文本不是 MSA:客户评论、WhatsApp 对话和社交媒体帖子都是方言,还经常混着英语或 Arabizi。有三个做法有帮助:

  • **默认摘要成 MSA。**它跨地区中立,也更好检索。如果摘要要回给同一位客户,就改用对方的方言。
  • **关键引文原样保留。**语气重要时(比如投诉),要求附上一句原话的简短引文。把方言改写成 MSA 可能会把语气弱化。
  • **用你的方言测试。**不同模型对方言的理解差别很大;参见大模型如何应对海湾和埃及阿拉伯语。

公开数据替你做不了这种测试。大型阿拉伯语摘要数据集都是 MSA 新闻,我们也没找到可以推荐的公开海湾或埃及方言摘要基准。

怎么控制摘要长度?

用词数提要求,再用词数来测量。不要相信模型自己报的数,也不要用 token 预算当单位:每个阿拉伯语词对应多少 token 因模型而异。我们用 Qwen3.8 27B 的官方分词器测量,一段 96 个词的阿拉伯语新闻是 166 个 token,它 58 个词的摘要是 114 个 token。用 阿拉伯语 token 计数器的分词器文件在 BroadNet 四个对话模型的分词器上统计,同一段文字从 166 到 224 个 token 不等。阿拉伯语每个词多少 token有更大规模的测量。

大多数场景下按空格切分是正确的计数方式,因为读者看到的就是这样。阿拉伯语把 و、ب、ل 和 ال 附着在词上,所以 50 个词的阿拉伯语摘要承载的内容多于 50 个英语单词。请根据你满意的阿拉伯语示例来设定范围,而不是照搬英语的目标。

关于长度,还有两条规则:

  • **max_tokens 不是长度控制。**它会把回复从句子中间截断。要把它设得远高于摘要的长度,思考模型尤其如此:BroadNet 的文档说,DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再作答,思考内容计入 max_tokens。参见思考模型为什么返回空回答。
  • 带上数字重试一次。“你的摘要是 17 个词;我要求的是 40 到 60 个”,比重复一遍指令更管用。

怎么发现编造的细节?

生成式摘要会编造内容。Maynez 等(ACL 2020)在标注员审阅的所有模型摘要中都发现了 “substantial amounts of hallucinated content”(译文:大量幻觉内容);那是在如今的大模型出现之前,但没有哪个模型能幸免。用代码低成本地核对含义做不到,但核对数字可以:摘要中的每个数字都应该出现在原文中。先把东阿拉伯数字(٠–٩)和波斯数字(۰–۹)映射为 0–9,否则 ١٢ 和 12 会被当成不同的数。

import os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

النص:
{text}"""

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
    return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))

def words(s: str) -> int:
    return len(s.split())          # clitics (و، ال، ب) stay attached: count what readers see

def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
    issues = []
    n = words(summary)
    if not lo <= n <= hi:
        issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
    extra = numbers(summary) - numbers(source)
    if extra:
        issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
    return issues

def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
    messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
    for i in range(attempts):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
        summary = (r.choices[0].message.content or "").strip()
        issues = check(text, summary, lo, hi)
        if not issues:
            return {"summary": summary, "attempts": i + 1, "issues": []}
        messages += [{"role": "assistant", "content": summary},
                     {"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
    return {"summary": summary, "attempts": attempts, "issues": issues}   # send to review

我们用本地模拟服务器(没有调用真实 API)和一篇 96 个词、关于城市公交计划的合成文章测试了这段代码。模拟服务器的第一次回复只有 17 个词,而且写的是 ٣٠٠ 辆公交车,原文是 ٢٤٠。check 返回了两个问题:实测长度,以及“原文中不存在的数字:300”。第二次修正后的回复为 58 个词,通过检查,于是函数返回了它,attempts: 2。

数字检查会漏掉一些问题:名字错了、决定被说反了、不含数字的论断。它是过滤器,不是判决。对于名字,可以复用阿拉伯语命名实体抽取中的片段检查:从摘要中抽取实体,确认每个实体都出现在原文中。

长篇阿拉伯语文档怎么摘要?

如果文本放进上下文窗口后还有余量,就整篇发送。Qwen3.8 27B 每个请求可容纳 262,144 个 token,GLM 5.3 为 1,048,576 个,均为提示词与回答合计;Gemma 4 VL 26B 为 32,768 个。不过长输入有个已知弱点:对于长上下文中间部分的事实,模型利用得不那么可靠(lost in the middle)。对于长报告,先逐节摘要,再对摘要做摘要,并在最终提示词中保留章节标题。会议纪要一文用代码展示了合并步骤;长上下文与 RAG 对比讲了什么时候应该改用检索。

怎么评估阿拉伯语摘要?

分三层:用自动重合度分数发现退化,用语义分数作为第二意见,由人来做最终决定。

**ROUGE,配合正确的分词器。**Google 的 rouge-score 包(0.1.2 版,截至 2026 年 11 月 16 日仍是 PyPI 上的当前版本)会把文本转成小写,并把 a–z 和 0–9 以外的每个字符替换成空格。阿拉伯语就消失了。我们验证过:

import re
from rouge_score import rouge_scorer

ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"

print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure)   # 0.0

class ArabicTokenizer:
    """Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
    def __init__(self, strip_prefixes=False):
        self.strip = strip_prefixes
    def tokenize(self, text):
        text = re.sub(r"[ً-ٰٟـ]", "", text)
        text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
        toks = re.findall(r"\w+", text)
        if self.strip:   # crude: drop و/ب/ل/ال prefixes on longer words
            toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
        return toks

for strip in (False, True):
    s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
    print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3))   # False 0.6, True 0.8

同样两句话,仅仅因为分词方式不同,得分就是 0、0.6 或 0.8。这才是真正的教训:阿拉伯语的形态变化(للنقل 与 النقل,بإضافة 与 تضيف)会让 ROUGE 大幅波动,所以离开分词器谈分数毫无意义。XL-Sum 的作者发布了一个带特定语言词干提取(包括阿拉伯语)的多语言 ROUGE 分支;用它,或者用你自己的分词器,并在所有要比较的运行中保持不变。

BERTScore 通过嵌入向量比较含义,所以能容忍改写。对于英语和中文以外的语言,它的默认模型是 bert-base-multilingual-cased。把它当作第二个信号,不要用它代替阅读。

**人工,配合评分细则。**请懂阿拉伯语的人就三个问题给 50 到 100 份摘要打分:有没有遗漏重要内容,有没有写了原文没说的东西,语体对不对。在样本上的评分与人工一致之后,可以用 LLM 评审对大批量摘要做初筛。切换大模型之前如何评估介绍了如何建立这样的测试集。

公开的参考数据:

数据集 内容 说明
XL-Sum 阿拉伯语 46,897 对 BBC 阿拉伯语文章与摘要(37,519 / 4,689 / 4,689) CC BY-NC-SA 4.0:仅限非商业研究
EASC 153 篇文章,每篇五份人工抽取式摘要 规模小;来自维基百科和两家报纸
LANS 来自 22 家阿拉伯报纸的 840 万篇带摘要文章,1999 年至 2019 年 摘要取自网站元数据

三者都是 MSA 新闻。你的客服工单和报告不是,所以拿一批你自己的文本、由人来写摘要,才是真正算数的测试。

该用 BroadNet 的哪个模型,费用多少?

做试点的话,Gemma 4 VL 26B 可以用 $5 的初始额度调用,每百万 token 输入 $0.10、输出 $0.22;它 32,768 token 的窗口能放下大多数单篇文章。Qwen3.8 27B 经 BroadNet 报告测试过阿拉伯语流畅写作以及海湾和埃及方言理解,充值后输入 $0.175、输出 $2.17。当单篇文档超出 Qwen 的窗口时,用 GLM 5.3。

算一笔账:10,000 篇文章,每篇 1,000 个 token,摘要 150 个 token:输入 1,000 万 token,输出 150 万 token,所以在 Qwen3.8 27B 上就是 10 × $0.175 加 1.5 × $2.17。还要加上按输出计费的思考 token,以及重试;两者都用样本从 usage 字段里测量。如果每篇文章的提示词都一样,就把它放在最前面,这样可以按缓存输入价计费。

BroadNet Inference 的定位

BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 通过 OpenAI 兼容 API 提供摘要这一步,所以上面的代码可以直接用 OpenAI Python SDK 运行。它的文档说,请求结束后不保留提示词和回答。它没有发布自己的阿拉伯语摘要基准,本文也没有测量其模型的摘要质量;请在你自己的文本上运行上述检查。如果是语音输入,可以像会议纪要一文那样,搭配 BroadNet Transcribe Arabic 使用。

常见问题

大模型能把阿拉伯语文本摘要好吗?

能,但流畅不等于准确。在代码里检查长度和数字,并在正式依赖之前,请懂阿拉伯语的人抽样打分,看有没有遗漏要点或编造细节。

方言文本的摘要应该用方言还是现代标准阿拉伯语?

通常用现代标准阿拉伯语,因为它读起来中立,跨地区也便于检索。措辞很重要时(比如投诉),保留原方言的简短引文。在提示词里说明你要哪一种,否则模型会在两者之间来回摇摆。

为什么 ROUGE 给我的阿拉伯语摘要打 0 分?

广泛使用的 rouge-score Python 包默认把 a-z 和 0-9 以外的字符替换成空格,所以阿拉伯语文本切不出任何 token。传入你自己的分词器,或者使用 XL-Sum 作者发布的多语言 ROUGE 分支。

怎么控制阿拉伯语摘要的长度?

要求词数范围,而不是 token 数,并按空格切分来测量回复。没达标就带上实测长度重发一次。注意阿拉伯语单词常带有附着前缀,所以 50 个词的阿拉伯语摘要承载的内容多于 50 个英语单词。

可以用哪个数据集测试阿拉伯语摘要?

XL-Sum 有 46,897 对 BBC 阿拉伯语文章与摘要(非商业许可)。EASC 有 153 篇文章,每篇配五份人工抽取式摘要。两者都是 MSA 新闻,所以要补充一些你自己的文本,尤其是方言文本。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity