---
title: "用大模型做阿拉伯语情感分析与工单分类 | BroadRouter"
description: "用大模型 API 对阿拉伯语评论、消息和客服工单分类：标签设计、兼顾方言的提示词、JSON 输出、macro F1 测试，以及大规模下的成本。"
url: https://broadrouter.com/zh/blog/arabic-text-classification-llm/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/arabic-text-classification-llm/)（2026-11-16 更新）。

# 用大模型做阿拉伯语文本分类：情感、意图与工单分派

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 2026-11-15 · 更新于 2026-11-16

用大模型对阿拉伯语文本分类：先定义一组简短标签并各配一行定义，为你遇到的每种方言提供几个已标注示例，要求以 JSON 返回一个标签和一段简短引文作为依据，并把思考强度设为低。上线之前，先用 200 条人工标注的消息按 macro F1 给模型打分。经过微调的阿拉伯语模型仍可能胜过通用大模型。

## 要点

-   先写好标签及其定义。大多数分类错误来自含糊的标签，而不是模型。
-   为你收到的每种方言都提供示例。2025 年的一项研究发现，兼顾方言的提示词提高了阿拉伯语情感分类的准确率。
-   要求返回 JSON，包含一个标签和一段原文引用，并保持输出简短：输出 token 比输入贵。
-   用你自己的标注集计算 macro F1 和混淆矩阵。中性和混合情感的消息，正是模型与人判断不一致的地方。
-   把多条短消息放进一个请求，以免超出速率限制：BroadNet 按量付费密钥每分钟允许 30 个请求。

**本页内容**

1.  哪些分类任务适合用大模型？
2.  关于大模型处理阿拉伯语，研究怎么说？
3.  标签该如何设计？
4.  什么样的提示词适合阿拉伯语分类？
5.  该用 BroadNet 的哪个模型？
6.  如何测试分类器？
7.  大规模分类该怎么做？
8.  应该避免哪些错误？
9.  什么时候大模型不是合适的分类器？
10.  BroadNet Inference 的定位

阿拉伯语分类任务随处可见：这条评论是正面的吗？这条 WhatsApp 消息是投诉吗？这个工单该交给哪个团队？紧急吗？在大模型出现之前，每个任务都需要一个标注数据集和一个微调模型。现在你可以从一个提示词开始。这样更快，但也很容易上线一个在十个示例上看起来不错、遇到海湾方言就失灵的分类器。本文介绍提示词、输出格式、测试和成本。

## 哪些分类任务适合用大模型？

| 任务 | 标签示例 | 说明 |
| --- | --- | --- |
| 情感 | positive、negative、neutral、mixed | 中性和混合情感是人和模型分歧最大的地方 |
| 意图 | complaint、question、order、cancel、other | 保留 “other”；强行归类会产生错误 |
| 工单分派 | billing、delivery、technical、account | 按你真实的团队来设标签 |
| 紧急程度 | urgent、normal | 用一句话定义紧急：“客户现在无法使用服务” |
| 方言或文字 | MSA、Gulf、Egyptian、Levantine、Arabizi | 便于分派到合适的回复模板；参见 [Arabizi](https://broadrouter.com/zh/blog/arabizi-llm-handling/) |
| 主题标签 | 从固定列表中选多个标签 | 要求返回列表，并限制长度 |

当已标注示例很少、标签经常变化，或者你希望每个标签都附带理由时，大模型很合适。当标签稳定、量非常大、而且你已经有成千上万条标注示例时，微调分类器更合适。

## 关于大模型处理阿拉伯语，研究怎么说？

开始之前，有两个结论值得了解：

-   \*\*微调过的阿拉伯语模型可能胜出。\*\*GPTAraEval 在 44 项阿拉伯语任务上测试了 ChatGPT，发现它 “consistently surpassed by smaller models that have undergone finetuning on Arabic”（译文：一直被在阿拉伯语上微调过的更小模型超越）。作者还发现，它在方言上的结果比在现代标准阿拉伯语上差（[Khondaker 等](https://arxiv.org/abs/2305.14976)）。
-   \*\*兼顾方言的提示词有帮助。\*\*RANLP 2025 的一项研究，在 MSA、沙特方言和摩洛哥达里加语上测试了 DeepSeek-R1、Qwen2.5 和 LLaMA-3 的情感分类，报告称兼顾方言的提示词提高了准确率，尤其是中性和负面类别（[Alharbi 等](https://aclanthology.org/2025.ranlp-1.8/)）。

这些研究用的模型比你要用的更旧或不同，所以把它们当作方向，而不是具体数字。但教训是成立的：用你自己的消息、按方言分别测量。

## 标签该如何设计？

从这里开始，而不是从模型开始。

1.  \*\*列表要短。\*\*每个问题四到八个标签。不同的问题（情感、意图、紧急程度）作为不同的字段，不要合成一个巨大的列表。
2.  \*\*每个标签用一句话定义，\*\*并说明它不是什么：“complaint：客户报告所购商品出了问题。不包括询价。”
3.  \*\*加一个兜底标签，\*\*比如 `other` 或 `unclear`。
4.  **事先决定混合情况。**“送货晚了，但司机很客气”是混合情感，不是中性。把这条规则写下来。

即使文本是阿拉伯语，标签定义也可以用英文写。标签值保持英文，这样你的代码就不必依赖阿拉伯语字符串匹配。

## 什么样的提示词适合阿拉伯语分类？

```python
import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out
```

每个部分的作用：

-   **说明方言的那一行**告诉模型会遇到什么，这正是 RANLP 研究发现有帮助的兼顾方言的提示方式。
-   \*\*多种方言的示例。\*\*上面的示例混合了海湾方言和埃及方言。请使用你自己流量中的真实（已匿名化的）消息。
-   \*\*以引文作为依据，\*\*审阅者一秒钟就能核对标签，也更容易发现模型在猜。
-   \*\*`reasoning_effort="low"`。\*\*Qwen3.8 27B、GLM 5.3 和 DeepSeek V4.1 Flash 会先思考再作答，思考内容计入 `max_tokens`。BroadNet 的文档建议把 `reasoning_effort` 设为 `low`，或者预留 1,000 个以上 token。[否则回答为什么会是空的](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。
-   \*\*在代码中拒收未知标签。\*\*永远不要相信模型会老老实实只用列表里的值。

如果需要更严格的输出约束，请看 [JSON 模式与 json\_schema 对比](https://broadrouter.com/zh/blog/structured-output-json-schema/)。BroadNet 为 GLM 5.3 和 Qwen3.8 27B 标注了支持结构化输出。

## 该用 BroadNet 的哪个模型？

| 模型 | 选择理由 | 每百万 token 输入 / 输出 |
| --- | --- | --- |
| [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) | 经 BroadNet 阿拉伯语测试：能理解海湾方言和埃及方言；标注支持结构化输出 | $0.175 / $2.17 |
| [BroadNet Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) | BroadNet 上每 token 价格最低；可用 $5 的初始额度调用；未标注支持结构化输出，所以要严格校验输出 | $0.10 / $0.22 |
| [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) | 也可用固定价格套餐，每个会话每月 $60，同一时间处理一个请求 | $0.175 / $0.52 |
| [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) | 标注支持结构化输出；四个模型中价格最高 | $0.78 / $3.46 |

先在 Qwen3.8 27B 和 Gemma 4 VL 26B 上跑你的测试集。如果 Gemma 的分数足够接近，它就是输出短标签时更便宜的选择。根据你的数据做决定，而不是根据这张表。

## 如何测试分类器？

1.  \*\*请母语者按上面的标签定义人工标注 200 条真实消息。\*\*包含你收到的每种方言，每种至少 30 条。
2.  **用模型跑完全部 200 条。**
3.  \*\*计算 macro F1，\*\*即各标签 F1 分数的平均值，让少见的标签和常见的标签同等重要。只看准确率，会掩盖一个从来不输出 `cancel` 的模型。
4.  \*\*看混淆矩阵。\*\*如果 `question` 和 `complaint` 经常互换，说明定义有重叠：先修改定义，再考虑换模型。
5.  \*\*按方言拆分结果。\*\*一个模型可能在 MSA 上很强，在海湾方言上很弱。

```python
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
```

每次修改提示词或模型，都重新跑同一个测试集。[切换大模型之前如何评估](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)介绍了如何维护固定的测试集。

## 大规模分类该怎么做？

分类以输入为主：一个长系统提示词、一条短消息、一个单词的回答。有三个杠杆很重要。

\*\*每个请求合并多条消息。\*\*BroadNet 按量付费密钥每分钟允许 30 个请求，同时进行中的最多 4 个。每个请求一条消息的话，每个密钥每分钟最多 30 条，每天最多是这个数的 1,440 倍。把 20 条短消息作为编号列表发送，并要求返回包含 20 个结果的 JSON 数组：同样的速率限制就能覆盖二十倍的消息。检查数组长度是否一致，以及每一项是否带着对应的编号。

\*\*保持提示词前缀完全一致。\*\*系统提示词和示例在每次调用中都一样。把它们放在最前面、消息放在最后，这样它们就能从缓存中读取，按缓存输入价计费，例如在 Qwen3.8 27B 上每百万 token $0.0435，而不是 $0.175。[如何组织提示词让前缀命中缓存](https://broadrouter.com/zh/blog/prompt-structure-for-caching/)。

\*\*保持输出简短。\*\*输出 token 比输入贵。一个标签加一段短引文就够了；等你信任模型之后，可以去掉依据字段。

阿拉伯语每个词通常比英语消耗更多 token，所以先用[阿拉伯语 token 计数器](https://broadrouter.com/tools/arabic-token-counter/)统计一批消息样本，再用[大模型 API 费用计算器](https://broadrouter.com/tools/llm-api-cost-calculator/)估算月度费用。

## 应该避免哪些错误？

-   \*\*用英文译文来测试。\*\*翻译出来的文本不是你的客户写字的方式。
-   \*\*所有方言共用一个分数。\*\*每种方言分别报告。
-   \*\*没有兜底标签。\*\*强行把每条消息归入一个真实标签，会让错误增多。
-   **自由文本回答。**“看起来是负面的”没法解析。要求返回 JSON 并做校验。
-   **忽视反讽。**“ما شاء الله، ثالث مرة يتأخر الطلب”（真行啊，订单第三次迟到了）逐词看是正面的，实际上是投诉。在提示词里放一个类似的示例。

## 什么时候大模型不是合适的分类器？

当标签稳定、你已经有成千上万条标注示例、而且量级达到数百万时，微调过的阿拉伯语编码器模型通常每条消息更便宜，而且按 GPTAraEval 的结论，可能更准确。对于可以等待的大型离线任务，有 Batch API 的服务商也可能更省钱：OpenAI 宣传，24 小时内完成的批量任务享受 5 折优惠。BroadNet 没有 Batch API。常见的做法是先用大模型给最初几千条消息打标签，人工核对，再用结果训练一个小模型。

## BroadNet Inference 的定位

BroadNet 在一个 OpenAI 兼容密钥下，提供经过阿拉伯语测试的模型（Qwen3.8 27B）、可用初始额度调用的低价模型（Gemma 4 VL 26B）和固定价格的选择（DeepSeek V4.1 Flash），请求结束后不保留任何消息内容。这适合想对阿拉伯语消息分类、又不想搭建训练流水线的客服团队。它不适合超大型离线任务，这类任务用批量折扣或微调模型会更便宜。从上面的提示词、200 条消息的测试，以及讲解如何搭建测试集的[海湾、埃及和黎凡特方言](https://broadrouter.com/zh/blog/arabic-llm-gulf-egyptian-dialects/)一文开始。

相关免费工具（英文）

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[现代标准阿拉伯语（MSA）](https://broadrouter.com/zh/glossary/msa/)

现代标准阿拉伯语（MSA）是阿拉伯世界在书面、新闻、教育和正式讲话中使用的标准化阿拉伯语。它不是任何人日常使用的母语：人们平时说埃及阿拉伯语、海湾阿拉伯语等地区方言，在正式场合才切换到 MSA。

[结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)

结构化输出是大模型 API 的一项功能，它把模型的回复约束为开发者指定的格式（通常是 JSON Schema），让代码能可靠地解析。它比 JSON mode 更严格：JSON mode 只保证输出是合法 JSON，不保证特定结构。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/)

速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限，例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝，通常返回 HTTP 429 Too Many Requests，直到用量回落到限制以下。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[批处理 API（Batch API）](https://broadrouter.com/zh/glossary/batch-api/)

批处理 API 是一种异步的大模型端点：它一次接收大量请求（通常以文件形式），在设定的时间窗口内处理而不是立即处理，最后统一返回结果。OpenAI 和 Anthropic 等服务商对批处理请求的定价低于其标准 API。

[系统提示词（system prompt）](https://broadrouter.com/zh/glossary/system-prompt/)

系统提示词是应用在对话开始前发给语言模型的指令文本，通常是一条 system 或 developer 角色的消息。它设定模型的角色、规则、语气和输出格式，当用户消息与它冲突时，模型应当优先遵循它。

## 常见问题

### 大模型能做阿拉伯语情感分析吗？

能，无需训练，只要在提示词中给出标签和示例。质量因方言和类别而异：在已发表的测试中，大模型在许多任务上落后于经过微调的阿拉伯语模型，方言的得分也低于现代标准阿拉伯语。请用你自己的数据测量。

### 做分类，大模型比微调过的阿拉伯语 BERT 模型更好吗？

不一定。GPTAraEval 发现，在 44 项任务中，ChatGPT "consistently surpassed by smaller models that have undergone finetuning on Arabic"（译文：一直被在阿拉伯语上微调过的更小模型超越）。当已标注示例很少、标签经常变化，或者每个标签都需要附带理由时，大模型更有优势。

### 怎么对海湾方言和埃及方言的消息分类？

给模型提供每种方言的已标注示例，告诉它会遇到哪些方言，并按方言分别打分。在埃及方言评论上表现好的模型，仍可能听不出海湾方言里的反讽。

### 怎样每次都得到一致的标签？

使用固定的标签列表，要求 JSON 只能取这些值，把 temperature 设为 0，并拒收任何不在列表中的回复。每次按相同顺序发送相同的示例，结果才可复现。

### 在 BroadNet 上每天能分类多少条消息？

按量付费密钥每分钟允许 30 个请求，同时最多 4 个。每个请求一条消息的话，每个密钥每分钟最多 30 条，每天最多是这个数的 1,440 倍。在上下文限制之内，每个请求放 20 条短消息，就能提高到二十倍。

### BroadNet 有用于批量分类的 Batch API 吗？

没有。BroadNet 的文档只有对话补全和转写。对于大型离线任务，可以在每个请求里合并多条消息，或者比较一下有 Batch API 的服务商；OpenAI 的 Batch API 宣传 5 折优惠，完成窗口为 24 小时。

## 继续阅读

-   [海湾、埃及和黎凡特阿拉伯语：大模型如何处理方言](https://broadrouter.com/zh/blog/arabic-llm-gulf-egyptian-dialects/)
-   [Arabizi 与大模型：处理用 3、7 等数字书写的拉丁化阿拉伯语](https://broadrouter.com/zh/blog/arabizi-llm-handling/)
-   [JSON 模式与 json\_schema：靠得住的结构化输出](https://broadrouter.com/zh/blog/structured-output-json-schema/)
-   [阿拉伯语提示词工程：语体、RTL、数字与中英混排](https://broadrouter.com/zh/blog/arabic-prompt-engineering/)
-   [切换服务商之前，如何评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)
-   [如何组织提示词，让前缀被缓存](https://broadrouter.com/zh/blog/prompt-structure-for-caching/)
-   [用大模型做阿拉伯语命名实体抽取：JSON、日期与校验](https://broadrouter.com/zh/blog/arabic-named-entity-extraction-llm/)
-   [没有 Batch API 也能批量调用大模型：可断点续跑的执行器](https://broadrouter.com/zh/blog/llm-batch-processing-without-batch-api/)
-   [用大模型给阿拉伯语加注音符号：提示词、校验与 DER](https://broadrouter.com/zh/blog/arabic-diacritization-llm/)
-   [用大模型做阿拉伯语语法和拼写纠错：实操指南](https://broadrouter.com/zh/blog/arabic-grammar-spelling-correction-llm/)
-   [指南：推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [指南：BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-arabic-text-classification-llm&utm_content=page-cta) ·

**来源**

-   [BroadNet Inference API 参考：模型、结构化输出、reasoning\_effort、按量付费限制、按小时密钥限制（2026-11-15 查阅）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-arabic-text-classification-llm&utm_content=sources)
-   [BroadNet Inference 价格页面：Qwen3.8 27B 的“Tested in Arabic”说明及每 token 价格（2026-11-15 查阅）（英文）](https://inference.broadnet.ai/pricing?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-arabic-text-classification-llm&utm_content=sources)
-   [Alharbi 等，Evaluating Large Language Models on Sentiment Analysis in Arabic Dialects，RANLP 2025（2026-11-15 查阅）](https://aclanthology.org/2025.ranlp-1.8/)
-   [Khondaker 等，GPTAraEval: A Comprehensive Evaluation of ChatGPT on Arabic NLP（arXiv 2305.14976；2026-11-15 查阅）](https://arxiv.org/abs/2305.14976)
-   [OpenAI Batch API 指南：5 折优惠，24 小时完成窗口（2026-11-15 查阅）](https://developers.openai.com/api/docs/guides/batch)
