对大多数阿拉伯语读者来说,مدرسة 和 مدرسه 是同一个词,意思是“学校”。但对字符串比较来说,它们是两个不同的词。原因就是 taa marbuta。
工作原理
Unicode 标准把 TEH MARBUTA(U+0629)列为词尾字符,也就是只出现在词或词素末尾的字符。它是右连字母,只与前一个字母相连。它的字形就是 HEH(U+0647)的词尾形式再加两个点:
| 字符 | 码位 | Unicode 名称 | 接在 ب 后的词尾形式 |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
由于两者在词尾只差两个点,输入的文本里两种拼法都会出现。Bouamor 等人(2018)指出,现代标准阿拉伯语有标准正字法,但各地方言没有,人们常按发音拼写单词。所以在非正式文本和阿拉伯语方言文本中,词典写作 ة 的地方,经常会看到词尾的 ه。
搜索规范化工具会把两者合并。CAMeL Tools 的 normalize_teh_marbuta_ar 就是一句简单的 s.replace('ة', 'ه'),Lucene 的 ArabicNormalizer 也把 “normalization of teh marbuta to heh”(译文:把 teh marbuta 规范化为 heh)列为一条规则。
为什么重要
召回率。 把 ة 合并为 ه,搜索 مدرسه 就能找到写作 مدرسة 的文档,反之亦然。这是阿拉伯语文本规范化的标准规则之一,与 alef 和 hamza 的合并并列。
词被合并。 这条规则也会把只差这一个字母的词合成一个:
| 原词 | 含义 | ة 转为 ه 之后 |
|---|---|---|
| كرة | 球 | كره |
| كره | 憎恨 | كره |
对搜索来说,偶尔的误匹配通常是可以接受的代价。对实体匹配、拼写纠错或法律文本,要保留这一区别,并比较原文。
评分。 在语音转文字评测中,如果参考文本是 ة 而转写写成了 ه,除非两边按同样的方式规范化,否则就会算作一个词错误。评分之前先决定好,并写明。
在 BroadNet Inference 上
BroadNet 的 API 不做文本规范化。聊天模型按原样接收和返回 ة 与 ه,BroadNet Transcribe Arabic 返回的是普通阿拉伯语文本。请在你自己的索引或评分代码中应用 ة 规则,而且两边都要用。
如果你让聊天模型纠正拼写,请在代码中检查它的修改:阿拉伯语拼写纠错文章展示了一种基于 diff 的检查。关于索引,阿拉伯语 RAG 搜索文章和规范化指南说明了这条规则该放在哪一步。你可以用阿拉伯语文本规范化工具在自己的字符串上试试这条规则。