BroadRouter
开始使用

现代标准阿拉伯语(MSA)

更新于

现代标准阿拉伯语(MSA)是阿拉伯世界在书面、新闻、教育和正式讲话中使用的标准化阿拉伯语。它不是任何人日常使用的母语:人们平时说埃及阿拉伯语、海湾阿拉伯语等地区方言,在正式场合才切换到 MSA。

又称: 现代标准阿拉伯语、标准阿拉伯语、阿拉伯语标准语、福斯哈、书面阿拉伯语、MSA、Modern Standard Arabic、Fusha、Fus'ha、Standard Arabic、al-fusha

当人们说某个 AI 模型“会阿拉伯语”时,通常指的是它能处理现代标准阿拉伯语。方言是另一项考验。

工作原理

阿拉伯语是一个由多种变体组成的语言家族。MADAR 论文(Bouamor 等,2018)说得很直白:MSA 是 “the shared language of culture, media, and education from Morocco to Oman”(译文:从摩洛哥到阿曼共同的文化、媒体和教育语言),但它 “is not the native language of any speaker of Arabic”(译文:不是任何阿拉伯语使用者的母语)。方言按地区分为埃及、北非、黎凡特、海湾和也门方言,再往下细分为突尼斯、黎巴嫩、科威特、卡塔尔方言等。MADAR 本身涵盖 25 个城市的方言以及 MSA。

实际使用中,两者会混在一起。在本应使用 MSA 的非脚本场合,比如电视谈话节目,说话人会在 MSA 和自己的方言之间来回切换。这就是语码转换。2014 年的语码转换评测任务发现,在词级别上区分 MSA 与方言是最难的一组,比西班牙语-英语或尼泊尔语-英语还难。

MSA 方言
使用场合 新闻、书籍、学校、合同、正式讲话 家里、街头、电话、语音消息、聊天
拼写 标准 没有固定拼写;常用 Arabizi 输入
训练数据 大规模书面语料 少得多,且各地区分布不均

为什么重要

  • 大模型质量。 一个模型可以写出漂亮的 MSA,却仍然听不懂海湾或马格里布俚语。请用你的用户实际说的方言来测试。
  • 语音转文字准确率。 许多测试集是朗读或广播语音,而你的音频可能是方言语音消息。要求按变体分别给出词错误率,而不是笼统的一个阿拉伯语数字,并用你自己的录音测试。
  • token 成本。 在我们的分词器数据集中,在 Qwen3.8 27B 上,现代标准阿拉伯语所需的 token 是相同句子英文版本的 1.31×(2,009 个 FLORES-200 句子),海湾阿拉伯语为 1.21×(仅 49 个 Tatoeba 句子的小样本,只是粗略数字)。用阿拉伯语 token 计数器测一测你自己的文本。

在 BroadNet Inference 上

BroadNet 称,经测试 Qwen3.8 27B 能流畅书写阿拉伯语,并能理解海湾和埃及方言。BroadNet Transcribe Arabic 标注为支持包括方言在内的阿拉伯语。无论 MSA 还是方言音频,都请传 language=ar;BroadNet 的文档提醒,不传这个参数,阿拉伯语可能以拉丁字母返回。阿拉伯语方言语音识别一文介绍了如何用你自己的录音测试。

常见问题

方言音频应该传哪个语言代码?

传 ar。BroadNet 的文档要求阿拉伯语传 language=ar,而 BroadNet Transcribe Arabic 标注为支持包括方言在内的阿拉伯语,所以每种方言并没有单独的代码。

说阿拉伯语的人都能听懂 MSA 吗?

受过教育的人能读懂、听懂,因为学校、书籍和新闻用的都是它。日常对话中,他们说的是自己的方言。

MSA 的语言代码是什么?

ISO 639-3 把标准阿拉伯语列为 arb,属于阿拉伯语宏语言 ara。语音 API 通常对所有阿拉伯语都使用两位代码 ar。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity