当人们说某个 AI 模型“会阿拉伯语”时,通常指的是它能处理现代标准阿拉伯语。方言是另一项考验。
工作原理
阿拉伯语是一个由多种变体组成的语言家族。MADAR 论文(Bouamor 等,2018)说得很直白:MSA 是 “the shared language of culture, media, and education from Morocco to Oman”(译文:从摩洛哥到阿曼共同的文化、媒体和教育语言),但它 “is not the native language of any speaker of Arabic”(译文:不是任何阿拉伯语使用者的母语)。方言按地区分为埃及、北非、黎凡特、海湾和也门方言,再往下细分为突尼斯、黎巴嫩、科威特、卡塔尔方言等。MADAR 本身涵盖 25 个城市的方言以及 MSA。
实际使用中,两者会混在一起。在本应使用 MSA 的非脚本场合,比如电视谈话节目,说话人会在 MSA 和自己的方言之间来回切换。这就是语码转换。2014 年的语码转换评测任务发现,在词级别上区分 MSA 与方言是最难的一组,比西班牙语-英语或尼泊尔语-英语还难。
| MSA | 方言 | |
|---|---|---|
| 使用场合 | 新闻、书籍、学校、合同、正式讲话 | 家里、街头、电话、语音消息、聊天 |
| 拼写 | 标准 | 没有固定拼写;常用 Arabizi 输入 |
| 训练数据 | 大规模书面语料 | 少得多,且各地区分布不均 |
为什么重要
- 大模型质量。 一个模型可以写出漂亮的 MSA,却仍然听不懂海湾或马格里布俚语。请用你的用户实际说的方言来测试。
- 语音转文字准确率。 许多测试集是朗读或广播语音,而你的音频可能是方言语音消息。要求按变体分别给出词错误率,而不是笼统的一个阿拉伯语数字,并用你自己的录音测试。
- token 成本。 在我们的分词器数据集中,在 Qwen3.8 27B 上,现代标准阿拉伯语所需的 token 是相同句子英文版本的 1.31×(2,009 个 FLORES-200 句子),海湾阿拉伯语为 1.21×(仅 49 个 Tatoeba 句子的小样本,只是粗略数字)。用阿拉伯语 token 计数器测一测你自己的文本。
在 BroadNet Inference 上
BroadNet 称,经测试 Qwen3.8 27B 能流畅书写阿拉伯语,并能理解海湾和埃及方言。BroadNet Transcribe Arabic 标注为支持包括方言在内的阿拉伯语。无论 MSA 还是方言音频,都请传 language=ar;BroadNet 的文档提醒,不传这个参数,阿拉伯语可能以拉丁字母返回。阿拉伯语方言语音识别一文介绍了如何用你自己的录音测试。