Hamza 这个小符号,最常决定一个阿拉伯语拼写是规范写法还是常见写法。أحمد 和 احمد 对读者来说是同一个名字,对计算机来说却是两个不同的字符串。
工作原理
Unicode 标准说 “the hamza may occur above or below other letters”(译文:hamza 可以出现在其他字母的上方或下方),并列出 alef、waw 和 yeh 作为承载字母。每种带承载字母的形式都编码为一个预组合字符:
| 字符 | 码位 | Unicode 名称 |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode 还定义了分解形式:أ、ؤ 和 ئ 分别与“基础字母 + U+0654 ARABIC HAMZA ABOVE”规范等价。所以看起来一样的 أ,可能以一个码位到达,也可能以两个码位到达。Unicode 规范化为 NFC 或 NFKC 会把 ا + U+0654 重新合成为单个 U+0623,这就是为什么它应该在任何 hamza 规则之前运行。
输入的文本并不总会写出 hamza,所以同一个词可能以 أ、إ、آ 或不带符号的 ا 出现。规范化针对的正是这种差异。CAMeL Tools 的 normalize_alef_ar 把 إ أ ٱ آ 映射为 ا。Lucene 的 ArabicNormalizer 会把 “hamza with alef seat to a bare alef”(译文:以 alef 为承载的 hamza 规范化为不带符号的 alef)。
为什么重要
- 搜索。 用户输入 اسلام,而你的文档里写的是 إسلام。没有 alef 规则,关键词搜索就会漏掉它。参见阿拉伯语文本规范化。
- 语音评分。 Open Universal Arabic ASR Leaderboard 在计算 WER 之前会 “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas”(译文:去除所有标点和变音符号,并规范化带 hamza 和 madda 的字符)。如果你在计算自己的词错误率时不做同样的处理,一份只是漏了 hamza 的正确转写会被算作错误,你的数字也就无法与排行榜比较。
- 代价。 统一 hamza 会合并只在 hamza 上有区别的词。动词 سأل(他问)和 سال(它流动)都会变成 سال。小品词 إن 和 أن 都会变成 ان。对大多数搜索来说可以接受;对拼写纠错或法律文本则不行。
在 BroadNet Inference 上
BroadNet 的 API 原样传递文本;hamza 的处理在你的代码中进行。BroadNet Transcribe Arabic 输出的转写是普通的阿拉伯语文本,所以评分前要对参考文本和转写文本做同一种规范化。按照 BroadNet 文档的建议,传 language=ar。阿拉伯语语音转文字指南给出了请求示例。
如果要纠正用户文本中的 hamza,对话模型可以帮上忙;拼写纠错一文展示了如何检查只有预期的字符被改动。想看看统一处理对你的字符串有什么影响,可以试试阿拉伯语文本规范化工具。