一个模型可能在阿拉伯语基准测试上得分很高,却在利雅得的一条语音消息或卡萨布兰卡的一条聊天消息上栽跟头。那些是方言,它们与现代标准阿拉伯语是两种不同的考验。
工作原理
构建 MADAR 语料库的 Bouamor 等人(2018)把阿拉伯语描述为 “a family of varieties”(译文:一个变体家族)。现代标准阿拉伯语(MSA)是 “from Morocco to Oman”(译文:从摩洛哥到阿曼)通用的文化、媒体和教育语言,但它不是任何人的母语。方言通常按地区分组,如埃及、北非、黎凡特、海湾和也门方言,或按次地区分组,如突尼斯、黎巴嫩、科威特方言等。它们在语音、词汇和形态上都与 MSA 不同,城市之间也有差异,只是程度较小。
对软件来说,最重要的差异有三点:
- 语音。 MADAR 举的例子是字母 qaf(ق)。在突尼斯阿拉伯语中它仍读 /q/,接近 MSA;在埃及和黎凡特阿拉伯语中它是声门塞音;在海湾阿拉伯语中读 /g/。语音模型必须把这三种发音都映射回同一个书面词。
- 词汇。 日常用词各不相同。“我想要”在 MSA 中是 أريد,埃及方言是 عايز,黎凡特方言是 بدي,海湾方言是 أبي 或 أبغى,摩洛哥方言是 بغيت。
- 拼写。 MADAR 指出,MSA 有标准正字法,方言没有。人们按发音或词源拼写,有时还用拉丁字母写成 Arabizi。说话人还会夹杂英语或法语,这就是语码转换。
方言也越来越多地被写下来。MADAR 称它是网络非正式交流中正在兴起的主要书面语言。NADI 2020 用覆盖 21 个阿拉伯国家 100 个省份的推文构建了一个共享任务。
为什么重要
- 聊天和客服机器人。 用户怎么说就怎么写。基于 MSA 训练的意图规则、关键词搜索和情感模型会漏掉方言词。参见用大模型处理海湾和埃及方言。
- 语音转文字。 在同一个模型上,方言音频的得分远低于朗读的 MSA。按方言分别建立测试集,方言语音识别一文对此有说明。
- 路由。 如果回复、审核人员或提示词因地区而异,先用阿拉伯语方言识别标注方言。
在 BroadNet Inference 上
BroadNet 把 BroadNet Transcribe Arabic 列为支持海湾、埃及、黎凡特、马格里布方言和现代标准阿拉伯语。BroadNet 报告,在 FLEURS-ar 朗读语音上的词错误率为 3.8,在其自建的海湾、埃及和黎凡特方言测试集上为 23.4,两者都是 BroadNet 自己的测量结果。这个差距就是方言带来的影响。所有方言都传 language=ar;BroadNet 的文档提醒,否则阿拉伯语可能会以拉丁字母转写的形式返回。
对于文本,BroadNet 报告测试过 Qwen3.8 27B 的阿拉伯语能力,能理解海湾和埃及方言。BroadNet 没有公布黎凡特或马格里布方言文本的结果,所以请用你自己的消息测试。阿拉伯语大模型指南对各模型做了比较,阿拉伯语语音转文字指南提供了可运行的代码。
常见错误
- 只用 MSA 新闻文本测试,然后上线给用方言书写的用户。
- 把各方言的 WER 取平均,掩盖了最弱的那一种。
- 在展示给用户的文本中,把方言拼写规范化成 MSA。