BroadRouter

用大模型做阿拉伯语文本分类:情感、意图与工单分派

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 · 更新于

用大模型对阿拉伯语文本分类:先定义一组简短标签并各配一行定义,为你遇到的每种方言提供几个已标注示例,要求以 JSON 返回一个标签和一段简短引文作为依据,并把思考强度设为低。上线之前,先用 200 条人工标注的消息按 macro F1 给模型打分。经过微调的阿拉伯语模型仍可能胜过通用大模型。

阿拉伯语分类任务随处可见:这条评论是正面的吗?这条 WhatsApp 消息是投诉吗?这个工单该交给哪个团队?紧急吗?在大模型出现之前,每个任务都需要一个标注数据集和一个微调模型。现在你可以从一个提示词开始。这样更快,但也很容易上线一个在十个示例上看起来不错、遇到海湾方言就失灵的分类器。本文介绍提示词、输出格式、测试和成本。

哪些分类任务适合用大模型?

任务 标签示例 说明
情感 positive、negative、neutral、mixed 中性和混合情感是人和模型分歧最大的地方
意图 complaint、question、order、cancel、other 保留 “other”;强行归类会产生错误
工单分派 billing、delivery、technical、account 按你真实的团队来设标签
紧急程度 urgent、normal 用一句话定义紧急:“客户现在无法使用服务”
方言或文字 MSA、Gulf、Egyptian、Levantine、Arabizi 便于分派到合适的回复模板;参见 Arabizi
主题标签 从固定列表中选多个标签 要求返回列表,并限制长度

当已标注示例很少、标签经常变化,或者你希望每个标签都附带理由时,大模型很合适。当标签稳定、量非常大、而且你已经有成千上万条标注示例时,微调分类器更合适。

关于大模型处理阿拉伯语,研究怎么说?

开始之前,有两个结论值得了解:

  • **微调过的阿拉伯语模型可能胜出。**GPTAraEval 在 44 项阿拉伯语任务上测试了 ChatGPT,发现它 “consistently surpassed by smaller models that have undergone finetuning on Arabic”(译文:一直被在阿拉伯语上微调过的更小模型超越)。作者还发现,它在方言上的结果比在现代标准阿拉伯语上差(Khondaker 等)。
  • **兼顾方言的提示词有帮助。**RANLP 2025 的一项研究,在 MSA、沙特方言和摩洛哥达里加语上测试了 DeepSeek-R1、Qwen2.5 和 LLaMA-3 的情感分类,报告称兼顾方言的提示词提高了准确率,尤其是中性和负面类别(Alharbi 等)。

这些研究用的模型比你要用的更旧或不同,所以把它们当作方向,而不是具体数字。但教训是成立的:用你自己的消息、按方言分别测量。

标签该如何设计?

从这里开始,而不是从模型开始。

  1. **列表要短。**每个问题四到八个标签。不同的问题(情感、意图、紧急程度)作为不同的字段,不要合成一个巨大的列表。
  2. **每个标签用一句话定义,**并说明它不是什么:“complaint:客户报告所购商品出了问题。不包括询价。”
  3. **加一个兜底标签,**比如 other 或 unclear。
  4. 事先决定混合情况。“送货晚了,但司机很客气”是混合情感,不是中性。把这条规则写下来。

即使文本是阿拉伯语,标签定义也可以用英文写。标签值保持英文,这样你的代码就不必依赖阿拉伯语字符串匹配。

什么样的提示词适合阿拉伯语分类?

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out

每个部分的作用:

  • 说明方言的那一行告诉模型会遇到什么,这正是 RANLP 研究发现有帮助的兼顾方言的提示方式。
  • **多种方言的示例。**上面的示例混合了海湾方言和埃及方言。请使用你自己流量中的真实(已匿名化的)消息。
  • **以引文作为依据,**审阅者一秒钟就能核对标签,也更容易发现模型在猜。
  • **reasoning_effort="low"。**Qwen3.8 27B、GLM 5.3 和 DeepSeek V4.1 Flash 会先思考再作答,思考内容计入 max_tokens。BroadNet 的文档建议把 reasoning_effort 设为 low,或者预留 1,000 个以上 token。否则回答为什么会是空的。
  • **在代码中拒收未知标签。**永远不要相信模型会老老实实只用列表里的值。

如果需要更严格的输出约束,请看 JSON 模式与 json_schema 对比。BroadNet 为 GLM 5.3 和 Qwen3.8 27B 标注了支持结构化输出。

该用 BroadNet 的哪个模型?

模型 选择理由 每百万 token 输入 / 输出
Qwen3.8 27B 经 BroadNet 阿拉伯语测试:能理解海湾方言和埃及方言;标注支持结构化输出 $0.175 / $2.17
BroadNet Gemma 4 VL 26B BroadNet 上每 token 价格最低;可用 $5 的初始额度调用;未标注支持结构化输出,所以要严格校验输出 $0.10 / $0.22
DeepSeek V4.1 Flash 也可用固定价格套餐,每个会话每月 $60,同一时间处理一个请求 $0.175 / $0.52
GLM 5.3 标注支持结构化输出;四个模型中价格最高 $0.78 / $3.46

先在 Qwen3.8 27B 和 Gemma 4 VL 26B 上跑你的测试集。如果 Gemma 的分数足够接近,它就是输出短标签时更便宜的选择。根据你的数据做决定,而不是根据这张表。

如何测试分类器?

  1. **请母语者按上面的标签定义人工标注 200 条真实消息。**包含你收到的每种方言,每种至少 30 条。
  2. 用模型跑完全部 200 条。
  3. **计算 macro F1,**即各标签 F1 分数的平均值,让少见的标签和常见的标签同等重要。只看准确率,会掩盖一个从来不输出 cancel 的模型。
  4. **看混淆矩阵。**如果 question 和 complaint 经常互换,说明定义有重叠:先修改定义,再考虑换模型。
  5. **按方言拆分结果。**一个模型可能在 MSA 上很强,在海湾方言上很弱。
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))

每次修改提示词或模型,都重新跑同一个测试集。切换大模型之前如何评估介绍了如何维护固定的测试集。

大规模分类该怎么做?

分类以输入为主:一个长系统提示词、一条短消息、一个单词的回答。有三个杠杆很重要。

**每个请求合并多条消息。**BroadNet 按量付费密钥每分钟允许 30 个请求,同时进行中的最多 4 个。每个请求一条消息的话,每个密钥每分钟最多 30 条,每天最多是这个数的 1,440 倍。把 20 条短消息作为编号列表发送,并要求返回包含 20 个结果的 JSON 数组:同样的速率限制就能覆盖二十倍的消息。检查数组长度是否一致,以及每一项是否带着对应的编号。

**保持提示词前缀完全一致。**系统提示词和示例在每次调用中都一样。把它们放在最前面、消息放在最后,这样它们就能从缓存中读取,按缓存输入价计费,例如在 Qwen3.8 27B 上每百万 token $0.0435,而不是 $0.175。如何组织提示词让前缀命中缓存。

**保持输出简短。**输出 token 比输入贵。一个标签加一段短引文就够了;等你信任模型之后,可以去掉依据字段。

阿拉伯语每个词通常比英语消耗更多 token,所以先用阿拉伯语 token 计数器统计一批消息样本,再用大模型 API 费用计算器估算月度费用。

应该避免哪些错误?

  • **用英文译文来测试。**翻译出来的文本不是你的客户写字的方式。
  • **所有方言共用一个分数。**每种方言分别报告。
  • **没有兜底标签。**强行把每条消息归入一个真实标签,会让错误增多。
  • 自由文本回答。“看起来是负面的”没法解析。要求返回 JSON 并做校验。
  • 忽视反讽。“ما شاء الله، ثالث مرة يتأخر الطلب”(真行啊,订单第三次迟到了)逐词看是正面的,实际上是投诉。在提示词里放一个类似的示例。

什么时候大模型不是合适的分类器?

当标签稳定、你已经有成千上万条标注示例、而且量级达到数百万时,微调过的阿拉伯语编码器模型通常每条消息更便宜,而且按 GPTAraEval 的结论,可能更准确。对于可以等待的大型离线任务,有 Batch API 的服务商也可能更省钱:OpenAI 宣传,24 小时内完成的批量任务享受 5 折优惠。BroadNet 没有 Batch API。常见的做法是先用大模型给最初几千条消息打标签,人工核对,再用结果训练一个小模型。

BroadNet Inference 的定位

BroadNet 在一个 OpenAI 兼容密钥下,提供经过阿拉伯语测试的模型(Qwen3.8 27B)、可用初始额度调用的低价模型(Gemma 4 VL 26B)和固定价格的选择(DeepSeek V4.1 Flash),请求结束后不保留任何消息内容。这适合想对阿拉伯语消息分类、又不想搭建训练流水线的客服团队。它不适合超大型离线任务,这类任务用批量折扣或微调模型会更便宜。从上面的提示词、200 条消息的测试,以及讲解如何搭建测试集的海湾、埃及和黎凡特方言一文开始。

常见问题

大模型能做阿拉伯语情感分析吗?

能,无需训练,只要在提示词中给出标签和示例。质量因方言和类别而异:在已发表的测试中,大模型在许多任务上落后于经过微调的阿拉伯语模型,方言的得分也低于现代标准阿拉伯语。请用你自己的数据测量。

做分类,大模型比微调过的阿拉伯语 BERT 模型更好吗?

不一定。GPTAraEval 发现,在 44 项任务中,ChatGPT "consistently surpassed by smaller models that have undergone finetuning on Arabic"(译文:一直被在阿拉伯语上微调过的更小模型超越)。当已标注示例很少、标签经常变化,或者每个标签都需要附带理由时,大模型更有优势。

怎么对海湾方言和埃及方言的消息分类?

给模型提供每种方言的已标注示例,告诉它会遇到哪些方言,并按方言分别打分。在埃及方言评论上表现好的模型,仍可能听不出海湾方言里的反讽。

怎样每次都得到一致的标签?

使用固定的标签列表,要求 JSON 只能取这些值,把 temperature 设为 0,并拒收任何不在列表中的回复。每次按相同顺序发送相同的示例,结果才可复现。

在 BroadNet 上每天能分类多少条消息?

按量付费密钥每分钟允许 30 个请求,同时最多 4 个。每个请求一条消息的话,每个密钥每分钟最多 30 条,每天最多是这个数的 1,440 倍。在上下文限制之内,每个请求放 20 条短消息,就能提高到二十倍。

BroadNet 有用于批量分类的 Batch API 吗?

没有。BroadNet 的文档只有对话补全和转写。对于大型离线任务,可以在每个请求里合并多条消息,或者比较一下有 Batch API 的服务商;OpenAI 的 Batch API 宣传 5 折优惠,完成窗口为 24 小时。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity