BroadRouter

阿拉伯语方言识别(Arabic dialect identification)

更新于

阿拉伯语方言识别是判断一段文本或录音属于哪种阿拉伯语变体的任务,例如埃及、海湾、黎凡特、马格里布方言或现代标准阿拉伯语,粒度可以是地区、国家或城市。它用于消息路由、选择提示词和拆分评测集。

又称: 阿拉伯语方言识别、阿拉伯语方言检测、方言识别、方言检测、dialect identification、dialect detection、ADI、NADI、Arabic dialect identification

要用用户的方言回答用户,先得知道对方写的是哪种方言。这就是方言识别。

工作原理

学术界通过 NADI 共享任务(Nuanced Arabic Dialect Identification)来衡量这项能力。NADI 2020 使用的推文覆盖 21 个阿拉伯国家的 100 个省份,设有国家级和省级两个子任务。NADI 2024 把方言识别定义为多标签任务,因为一句话可能在几种方言里都成立,并新增了一个衡量方言程度的子任务。子任务 1 的最佳系统得分为 50.57 F1,组织者写道,方言识别仍然很有挑战性。

MADAR 语料库(Bouamor 等,2018)是常用资源:同一批旅行场景的句子被翻译成 25 个城市的方言。其中 2,000 句覆盖全部 25 种方言;另有 10,000 句只有多哈、贝鲁特、开罗、突尼斯和拉巴特的版本。这样的平行数据能让你看到同一个意思在各地是怎么写的。

实际产品大多只需要更粗的标签。一套可用的标签如下:

标签 涵盖
msa 现代标准阿拉伯语
gulf 沙特、阿联酋、科威特、卡塔尔、巴林、阿曼
egyptian 埃及
levantine 叙利亚、黎巴嫩、约旦、巴勒斯坦
maghrebi 摩洛哥、阿尔及利亚、突尼斯、利比亚
other_or_unclear 伊拉克、也门、苏丹、混合或过短

用大模型做这件事时,提示词要求返回一个 JSON 对象:标签、置信度,以及暴露方言的那些词。例如,消息 عايز أغير الباقة 会返回:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

要求给出线索词,审查错误就很容易:如果线索词是一个标准语词,这个标签就值得怀疑。

为什么重要

  • 路由。 把海湾地区的客户转给海湾地区的客服,或者把回复提示词切换到用户的方言。
  • 评测。 按方言拆分语音和对话测试集。只看一个平均值会掩盖表现最差的那一组,方言语音识别一文就说明了这一点。
  • 分析。 在为某种方言投入之前,先弄清用户实际在写哪些方言。

混合消息很常见。用户会在一行里在方言、标准语和英语之间切换,这就是语码转换;保留一个“不确定”标签,不要强行猜测。

在 BroadNet Inference 上

BroadNet 没有方言识别端点。你可以基于 POST /v1/chat/completions 自己搭一个。BroadNet 的 API 参考记载了 GLM 5.3 和 Qwen3.8 27B 支持结构化输出,适合固定的标签列表;参见结构化输出。BroadNet 报告称,测试中 Qwen3.8 27B 能理解海湾方言和埃及方言。BroadNet 没有公布任何模型的方言识别准确率,所以在依赖它之前,请人工标注 100 条左右你自己的消息,用它们来衡量模型。

用大模型做阿拉伯语文本分类一文介绍了这类任务的提示词、标签列表和打分方法,阿拉伯语方言则解释了这些标签的含义。

常见问题

阿拉伯语方言识别的准确率有多高?

取决于粒度和文本长度。NADI 2024 中,多标签方言识别的最佳系统得分为 50.57 F1,组织者的结论是这项任务仍然很有挑战性。对较长的消息标注地区级标签,比对短消息标注国家级或城市级标签容易。

一条消息可以同时属于多种方言吗?

可以。短句或中性的句子可能在几种方言里都成立,所以 NADI 2024 把方言识别定义为多标签任务。请允许“不确定”或多标签的回答。

需要专门训练一个分类器吗?

起步时不需要。给大模型一个固定的标签列表,很快就能搭起来。在一份人工标注的样本上测一测;如果量或准确率有要求,再换成训练好的分类器。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity