阿拉伯语分类任务随处可见:这条评论是正面的吗?这条 WhatsApp 消息是投诉吗?这个工单该交给哪个团队?紧急吗?在大模型出现之前,每个任务都需要一个标注数据集和一个微调模型。现在你可以从一个提示词开始。这样更快,但也很容易上线一个在十个示例上看起来不错、遇到海湾方言就失灵的分类器。本文介绍提示词、输出格式、测试和成本。
哪些分类任务适合用大模型?
| 任务 | 标签示例 | 说明 |
|---|---|---|
| 情感 | positive、negative、neutral、mixed | 中性和混合情感是人和模型分歧最大的地方 |
| 意图 | complaint、question、order、cancel、other | 保留 “other”;强行归类会产生错误 |
| 工单分派 | billing、delivery、technical、account | 按你真实的团队来设标签 |
| 紧急程度 | urgent、normal | 用一句话定义紧急:“客户现在无法使用服务” |
| 方言或文字 | MSA、Gulf、Egyptian、Levantine、Arabizi | 便于分派到合适的回复模板;参见 Arabizi |
| 主题标签 | 从固定列表中选多个标签 | 要求返回列表,并限制长度 |
当已标注示例很少、标签经常变化,或者你希望每个标签都附带理由时,大模型很合适。当标签稳定、量非常大、而且你已经有成千上万条标注示例时,微调分类器更合适。
关于大模型处理阿拉伯语,研究怎么说?
开始之前,有两个结论值得了解:
- **微调过的阿拉伯语模型可能胜出。**GPTAraEval 在 44 项阿拉伯语任务上测试了 ChatGPT,发现它 “consistently surpassed by smaller models that have undergone finetuning on Arabic”(译文:一直被在阿拉伯语上微调过的更小模型超越)。作者还发现,它在方言上的结果比在现代标准阿拉伯语上差(Khondaker 等)。
- **兼顾方言的提示词有帮助。**RANLP 2025 的一项研究,在 MSA、沙特方言和摩洛哥达里加语上测试了 DeepSeek-R1、Qwen2.5 和 LLaMA-3 的情感分类,报告称兼顾方言的提示词提高了准确率,尤其是中性和负面类别(Alharbi 等)。
这些研究用的模型比你要用的更旧或不同,所以把它们当作方向,而不是具体数字。但教训是成立的:用你自己的消息、按方言分别测量。
标签该如何设计?
从这里开始,而不是从模型开始。
- **列表要短。**每个问题四到八个标签。不同的问题(情感、意图、紧急程度)作为不同的字段,不要合成一个巨大的列表。
- **每个标签用一句话定义,**并说明它不是什么:“complaint:客户报告所购商品出了问题。不包括询价。”
- **加一个兜底标签,**比如
other或unclear。 - 事先决定混合情况。“送货晚了,但司机很客气”是混合情感,不是中性。把这条规则写下来。
即使文本是阿拉伯语,标签定义也可以用英文写。标签值保持英文,这样你的代码就不必依赖阿拉伯语字符串匹配。
什么样的提示词适合阿拉伯语分类?
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
每个部分的作用:
- 说明方言的那一行告诉模型会遇到什么,这正是 RANLP 研究发现有帮助的兼顾方言的提示方式。
- **多种方言的示例。**上面的示例混合了海湾方言和埃及方言。请使用你自己流量中的真实(已匿名化的)消息。
- **以引文作为依据,**审阅者一秒钟就能核对标签,也更容易发现模型在猜。
- **
reasoning_effort="low"。**Qwen3.8 27B、GLM 5.3 和 DeepSeek V4.1 Flash 会先思考再作答,思考内容计入max_tokens。BroadNet 的文档建议把reasoning_effort设为low,或者预留 1,000 个以上 token。否则回答为什么会是空的。 - **在代码中拒收未知标签。**永远不要相信模型会老老实实只用列表里的值。
如果需要更严格的输出约束,请看 JSON 模式与 json_schema 对比。BroadNet 为 GLM 5.3 和 Qwen3.8 27B 标注了支持结构化输出。
该用 BroadNet 的哪个模型?
| 模型 | 选择理由 | 每百万 token 输入 / 输出 |
|---|---|---|
| Qwen3.8 27B | 经 BroadNet 阿拉伯语测试:能理解海湾方言和埃及方言;标注支持结构化输出 | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | BroadNet 上每 token 价格最低;可用 $5 的初始额度调用;未标注支持结构化输出,所以要严格校验输出 | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | 也可用固定价格套餐,每个会话每月 $60,同一时间处理一个请求 | $0.175 / $0.52 |
| GLM 5.3 | 标注支持结构化输出;四个模型中价格最高 | $0.78 / $3.46 |
先在 Qwen3.8 27B 和 Gemma 4 VL 26B 上跑你的测试集。如果 Gemma 的分数足够接近,它就是输出短标签时更便宜的选择。根据你的数据做决定,而不是根据这张表。
如何测试分类器?
- **请母语者按上面的标签定义人工标注 200 条真实消息。**包含你收到的每种方言,每种至少 30 条。
- 用模型跑完全部 200 条。
- **计算 macro F1,**即各标签 F1 分数的平均值,让少见的标签和常见的标签同等重要。只看准确率,会掩盖一个从来不输出
cancel的模型。 - **看混淆矩阵。**如果
question和complaint经常互换,说明定义有重叠:先修改定义,再考虑换模型。 - **按方言拆分结果。**一个模型可能在 MSA 上很强,在海湾方言上很弱。
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
每次修改提示词或模型,都重新跑同一个测试集。切换大模型之前如何评估介绍了如何维护固定的测试集。
大规模分类该怎么做?
分类以输入为主:一个长系统提示词、一条短消息、一个单词的回答。有三个杠杆很重要。
**每个请求合并多条消息。**BroadNet 按量付费密钥每分钟允许 30 个请求,同时进行中的最多 4 个。每个请求一条消息的话,每个密钥每分钟最多 30 条,每天最多是这个数的 1,440 倍。把 20 条短消息作为编号列表发送,并要求返回包含 20 个结果的 JSON 数组:同样的速率限制就能覆盖二十倍的消息。检查数组长度是否一致,以及每一项是否带着对应的编号。
**保持提示词前缀完全一致。**系统提示词和示例在每次调用中都一样。把它们放在最前面、消息放在最后,这样它们就能从缓存中读取,按缓存输入价计费,例如在 Qwen3.8 27B 上每百万 token $0.0435,而不是 $0.175。如何组织提示词让前缀命中缓存。
**保持输出简短。**输出 token 比输入贵。一个标签加一段短引文就够了;等你信任模型之后,可以去掉依据字段。
阿拉伯语每个词通常比英语消耗更多 token,所以先用阿拉伯语 token 计数器统计一批消息样本,再用大模型 API 费用计算器估算月度费用。
应该避免哪些错误?
- **用英文译文来测试。**翻译出来的文本不是你的客户写字的方式。
- **所有方言共用一个分数。**每种方言分别报告。
- **没有兜底标签。**强行把每条消息归入一个真实标签,会让错误增多。
- 自由文本回答。“看起来是负面的”没法解析。要求返回 JSON 并做校验。
- 忽视反讽。“ما شاء الله، ثالث مرة يتأخر الطلب”(真行啊,订单第三次迟到了)逐词看是正面的,实际上是投诉。在提示词里放一个类似的示例。
什么时候大模型不是合适的分类器?
当标签稳定、你已经有成千上万条标注示例、而且量级达到数百万时,微调过的阿拉伯语编码器模型通常每条消息更便宜,而且按 GPTAraEval 的结论,可能更准确。对于可以等待的大型离线任务,有 Batch API 的服务商也可能更省钱:OpenAI 宣传,24 小时内完成的批量任务享受 5 折优惠。BroadNet 没有 Batch API。常见的做法是先用大模型给最初几千条消息打标签,人工核对,再用结果训练一个小模型。
BroadNet Inference 的定位
BroadNet 在一个 OpenAI 兼容密钥下,提供经过阿拉伯语测试的模型(Qwen3.8 27B)、可用初始额度调用的低价模型(Gemma 4 VL 26B)和固定价格的选择(DeepSeek V4.1 Flash),请求结束后不保留任何消息内容。这适合想对阿拉伯语消息分类、又不想搭建训练流水线的客服团队。它不适合超大型离线任务,这类任务用批量折扣或微调模型会更便宜。从上面的提示词、200 条消息的测试,以及讲解如何搭建测试集的海湾、埃及和黎凡特方言一文开始。
