BroadRouter

阿拉伯语方言(dialectal Arabic)

更新于

阿拉伯语方言是某个地区或城市日常使用的口语阿拉伯语,例如埃及、海湾、黎凡特或马格里布阿拉伯语。方言在语音、词汇和语法上都不同于现代标准阿拉伯语,没有标准拼写,而且越来越多地出现在网络文字中,这让语言模型更难处理。

又称: 阿拉伯语口语、阿拉伯方言、海湾阿拉伯语、埃及阿拉伯语、黎凡特阿拉伯语、马格里布阿拉伯语、dialectal Arabic、Arabic dialects、Arabic dialect、colloquial Arabic、Gulf Arabic、Egyptian Arabic、Levantine Arabic、Maghrebi Arabic、Khaleeji

一个模型可能在阿拉伯语基准测试上得分很高,却在利雅得的一条语音消息或卡萨布兰卡的一条聊天消息上栽跟头。那些是方言,它们与现代标准阿拉伯语是两种不同的考验。

工作原理

构建 MADAR 语料库的 Bouamor 等人(2018)把阿拉伯语描述为 “a family of varieties”(译文:一个变体家族)。现代标准阿拉伯语(MSA)是 “from Morocco to Oman”(译文:从摩洛哥到阿曼)通用的文化、媒体和教育语言,但它不是任何人的母语。方言通常按地区分组,如埃及、北非、黎凡特、海湾和也门方言,或按次地区分组,如突尼斯、黎巴嫩、科威特方言等。它们在语音、词汇和形态上都与 MSA 不同,城市之间也有差异,只是程度较小。

对软件来说,最重要的差异有三点:

  • 语音。 MADAR 举的例子是字母 qaf(ق)。在突尼斯阿拉伯语中它仍读 /q/,接近 MSA;在埃及和黎凡特阿拉伯语中它是声门塞音;在海湾阿拉伯语中读 /g/。语音模型必须把这三种发音都映射回同一个书面词。
  • 词汇。 日常用词各不相同。“我想要”在 MSA 中是 أريد,埃及方言是 عايز,黎凡特方言是 بدي,海湾方言是 أبي 或 أبغى,摩洛哥方言是 بغيت。
  • 拼写。 MADAR 指出,MSA 有标准正字法,方言没有。人们按发音或词源拼写,有时还用拉丁字母写成 Arabizi。说话人还会夹杂英语或法语,这就是语码转换。

方言也越来越多地被写下来。MADAR 称它是网络非正式交流中正在兴起的主要书面语言。NADI 2020 用覆盖 21 个阿拉伯国家 100 个省份的推文构建了一个共享任务。

为什么重要

  • 聊天和客服机器人。 用户怎么说就怎么写。基于 MSA 训练的意图规则、关键词搜索和情感模型会漏掉方言词。参见用大模型处理海湾和埃及方言。
  • 语音转文字。 在同一个模型上,方言音频的得分远低于朗读的 MSA。按方言分别建立测试集,方言语音识别一文对此有说明。
  • 路由。 如果回复、审核人员或提示词因地区而异,先用阿拉伯语方言识别标注方言。

在 BroadNet Inference 上

BroadNet 把 BroadNet Transcribe Arabic 列为支持海湾、埃及、黎凡特、马格里布方言和现代标准阿拉伯语。BroadNet 报告,在 FLEURS-ar 朗读语音上的词错误率为 3.8,在其自建的海湾、埃及和黎凡特方言测试集上为 23.4,两者都是 BroadNet 自己的测量结果。这个差距就是方言带来的影响。所有方言都传 language=ar;BroadNet 的文档提醒,否则阿拉伯语可能会以拉丁字母转写的形式返回。

对于文本,BroadNet 报告测试过 Qwen3.8 27B 的阿拉伯语能力,能理解海湾和埃及方言。BroadNet 没有公布黎凡特或马格里布方言文本的结果,所以请用你自己的消息测试。阿拉伯语大模型指南对各模型做了比较,阿拉伯语语音转文字指南提供了可运行的代码。

常见错误

  • 只用 MSA 新闻文本测试,然后上线给用方言书写的用户。
  • 把各方言的 WER 取平均,掩盖了最弱的那一种。
  • 在展示给用户的文本中,把方言拼写规范化成 MSA。

常见问题

方言音频该传哪个语言代码?

传 ar。BroadNet 的文档要求阿拉伯语音频使用 language=ar,而且 BroadNet 把海湾、埃及、黎凡特、马格里布方言和现代标准阿拉伯语都列在 Transcribe Arabic 这一个模型下。

模型应该用方言还是现代标准阿拉伯语回复?

按产品决定,并在系统提示词里写明。很多助手能读懂方言,再用浅显的现代标准阿拉伯语或用户的方言回复;测试一下你的用户更喜欢哪种。

阿拉伯语有多少种方言?

没有固定数字。方言按地区(埃及、北非、黎凡特、海湾、也门)或更细的次地区分组。仅 MADAR 就涵盖 25 个城市的方言。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity