语音转文字之所以难以处理阿拉伯语方言,是因为方言在发音、词汇和拼写上都与现代标准阿拉伯语(MSA)不同,说话人还会夹杂英语或法语。想知道某个服务商表现如何,就用你的真实音频为每种方言建一个小测试集,并按方言分别评分。
利雅得的来电、开罗的语音消息和卡萨布兰卡的客服通话都算“阿拉伯语”,同一个模型可能把第一个处理得很好,第三个却很差。
本文说明每个主要方言群为什么会难倒语音识别,以及如何搭建一个测试,看清服务商在你的方言上的表现。更全面的选型清单(价格、限制、隐私)请见阿拉伯语语音转文字选型指南。
阿拉伯语方言为什么难做语音识别?
四个问题叠加在一起:
- **发音不同。**同一个字母在不同地区读法不同,声学模型必须把几种读音对应到同一种拼写。
- **词汇不同。**日常用词因方言而异。主要用 MSA 训练的模型可能会把方言词“纠正”成对应的正式词;如果你的参考文本是逐字记录,这就算错误。
- **没有标准拼写。**方言的书写很随意,连两位人工转写员都会有分歧。训练数据也不均衡:2024 年一项关于方言覆盖的研究指出,现有 ASR 系统 “mainly cover the modern standard Arabic (MSA) variety and few high-resource dialects”(译文:主要覆盖现代标准阿拉伯语(MSA)和少数高资源方言)(arXiv 2411.05872)。
- **语码转换。**说话人会在句子中途夹杂英语或法语。覆盖八种方言的 Casablanca 数据集,在标注方言和性别的同时也标注了语码转换。
Open Universal Arabic ASR Leaderboard 论文(Interspeech 2025)正是出于这个原因,在多个多方言测试集上评估开源模型:一个阿拉伯语总分会掩盖其中的差异。
每种阿拉伯语方言会怎样难倒语音识别?
| 方言群 | 地区 | ASR 常见难点 |
|---|---|---|
| 海湾方言(Khaleeji) | 沙特阿拉伯、阿联酋、科威特、卡塔尔、巴林、阿曼 | 夹杂英语产品名、数字和品牌词;qaf 和 kaf 的地区读法 |
| 埃及方言 | 埃及 | jeem 读作硬音 g;qaf 常读作声门塞音;在媒体中非常常见,所以模型通常见得更多 |
| 黎凡特方言 | 叙利亚、黎巴嫩、约旦、巴勒斯坦 | 城市口音把 qaf 读作声门塞音;夹杂法语或英语,黎巴嫩尤甚 |
| 马格里布方言(Darija) | 摩洛哥、阿尔及利亚、突尼斯、利比亚 | 离 MSA 最远;短元音脱落;大量法语语码转换;有阿马齐格语借词 |
| 伊拉克方言 | 伊拉克 | 词汇和发音独特;公开的训练音频较少 |
这些只是倾向,不是规则。每个方言群内部,城市和乡村的口音都不一样,年轻人也更常语码转换。关键在于,每个方言群出错的方式各不相同,所以要按方言群分别评分。
如何搭建阿拉伯语方言测试集?
1. 按方言采集真实音频
从你在生产中要处理的渠道里,为每种方言抽取 30 到 50 个片段:电话、WhatsApp 语音消息、会议录音。8 kHz 的电话音频和录音棚音频表现不同。给每个片段标上方言,并标记含有英语或法语的片段。
2. 先约定拼写规范
在任何人写参考文本之前,先决定:
- 逐字方言(按实际所说、用方言拼写记录),或
- 规范化(统一映射成一致的形式)。
把选择连同示例写下来。如果参考文本是逐字记录,而模型输出的是接近 MSA 的词,即使意思对,WER 也会很难看。两种选择都没有错,但必须符合你下游系统的需要。
3. 每种方言为 10 个片段写参考文本
请该方言的母语者来转写。对于语码转换的片段,决定英语单词是否保留拉丁字母,并全程统一执行。
4. 两边都规范化,然后评分
去掉变音符号,统一 alef 的写法(إ أ آ 统一为 ا)和词尾 yaa(ى 统一为 ي),删除标点,把东阿拉伯数字转换为西阿拉伯数字。然后计算:
| 指标 | 原因 |
|---|---|
| 按方言的 WER | 标准指标;对附着词和前缀很严格 |
| 按方言的 CER | 对拼写差异更宽容 |
| 实体准确率 | 数字、日期和人名被准确转写的比例 |
| 语码转换组的 WER | 看英语或法语单词是否保留下来 |
jiwer 包可以计算 WER 和 CER;阿拉伯语 WER 详解里有一个可复用的规范化函数,还有一个示例,展示规范化会让分数变化多少。
5. 通读转写文本
呼叫中心或银行业务流程能不能用,取决于数字。每种方言读 20 份转写文本,手动核对每个数字、日期和人名。
公开的阿拉伯语 WER 数字能说明什么?
公开基准给的是方向,不是承诺。BroadNet 在其模型目录中为 BroadNet Transcribe Arabic 公布了三个 WER 数字:FLEURS-ar(清晰的朗读语音)上为 3.8,MASC-ar(混合的真实场景语音)上为 21.1,自有方言集上为 23.4。同一个模型从朗读语音到方言语音,WER 跳升了六倍,这正是你要用自己的方言测试的原因。
比较服务商时,要在同一个测试集上比较。Open Universal Arabic ASR Leaderboard 这样的排行榜有用,是因为每个模型都按同样的方式评分。厂商在自家数据集上给出的数字,无法和另一家厂商的数字相比。
方言转写文本该交给哪个大模型来读?
转写文本通常会交给大模型:总结通话、分派工单或回答问题。这个模型也得读得懂方言。我们的阿拉伯语大模型选择指南介绍了如何测试,而 Qwen3.8 27B 是 BroadNet 在海湾方言和埃及方言上测试过的模型。
BroadNet Inference 的定位
BroadNet Transcribe Arabic 专为包括方言在内的阿拉伯语打造,价格为每分钟 $0.0042(每小时 $0.25)。BroadNet 报告它在 Open Universal Arabic ASR Leaderboard 上位列 第 2 名(共 37 个) (这是 2026年9月的数据;2026年11月15日实时榜单上为 39 个中的第 4 名),在许可证允许通过 API 提供服务的模型中排名第一。如果需要在嘈杂音频中准确识别数字、日期和人名,BroadNet 可按需提供微调版本。$5 的初始额度约合 1,190 分钟,足够完成上面的整套测试;语音转文字费用计算器可以把你的生产用量换算成月账单。创建密钥即可开始。
BroadNet 没有按方言群分别公布 WER 数字。这正是你应该做这个测试的原因:它的方言集数字只是一个数,而你的客户说的是一两种方言,而不是全部。
