很多讲阿拉伯语的人在手机上就是这样打字的:阿拉伯语的词,拉丁键盘,再用几个数字补上缺少的发音。这就是 Arabizi。
工作原理
Darwish(2014)把 Arabizi(也叫 Arabish 或 Franco-Arab)描述为音译成拉丁字母形式的阿拉伯语,用数字表示英语中没有的字母:“2”和“3”分别代表 hamza 音和 ع。它的兴起是因为早期的浏览器和手机无法显示阿拉伯文字。它延续至今,是因为人们已经习惯,而且在英文键盘上打字更快。
有三个特点让软件难以处理它:
- 没有标准拼写。 Shazal、Usman 和 Habash(2020)指出,社交媒体上的 Arabizi 是阿拉伯语方言,而方言没有标准正字法,转换到阿拉伯文字也不是一一对应的。
- 夹杂英语或法语。 像
w aletli Tuesday(“她跟我说星期二”)这样的消息混用了两种语言,这就是语码转换。 - 先要识别。 软件得先判断哪些词是 Arabizi,然后才能转换。Darwish 报告,用经典流水线,识别准确率为 98.5%,转换准确率为 88.7%;2020 年的序列到序列模型在联合任务的盲测集上达到 80.6% 的词准确率。
对大模型 API 而言,Arabizi 在分词器下的表现也和阿拉伯文字不同,因为它是拉丁字母文本,拼写方式又是词表里很少见过的。
为什么重要
如果你在海湾地区、埃及或黎凡特运营聊天机器人、搜索或数据分析,一部分用户一定会输入 Arabizi。为阿拉伯文字打造的关键词搜索、意图规则和情感分析工具会漏掉这些消息。常见的解决办法是在路由或建索引之前,让大模型把 Arabizi 转换成阿拉伯文字(并写明方言),同时保留原文。Arabizi 处理指南介绍了提示词和回复用哪种文字的选择。
在 BroadNet Inference 上
BroadNet 没有针对 Arabizi 的专门功能;对话模型把它当作普通文本接收。BroadNet 报告称测试了 Qwen3.8 27B 的阿拉伯语能力,它能理解海湾方言和埃及方言,可以作为 Arabizi 测试的起点。参见用大模型处理海湾和埃及方言。
语音是另一回事。BroadNet 的文档提醒,如果不传 language,阿拉伯语音频可能被音译成拉丁字母。这种输出看起来像 Arabizi,但来源是请求,而不是说话人。请向 BroadNet Transcribe Arabic 发送 language=ar。