阿拉伯语用户会用好几种方式打出同一个词。规范化让这些拼写能够互相匹配。
工作原理
规范化是一组字符改写规则,同时作用于存储的文本和查询。许多搜索引擎使用的 Apache Lucene ArabicNormalizer 列出了五条规则:
- 带 alef 底座的 hamza 改为单纯的 alef;
- teh marbuta(ة)改为 heh(ه);
- 无点 yeh,即 alef maksura(ى),改为 yeh(ي);
- 去掉 harakat(变音符号);
- 去掉 tatweel,即“拉长字符”。
CAMeL Tools 把同样的思路拆成了单独的函数。normalize_alef_ar 把 إ أ ٱ آ(U+0625、U+0623、U+0671、U+0622)映射为 ا,normalize_alef_maksura_ar 把 ى 映射为 ي,normalize_teh_marbuta_ar 把 ة 映射为 ه。normalize_unicode 默认执行 NFKC,也就是 Unicode 规范化,这一步应该最先做。
Tatweel(U+0640,又称 kashida)是一个连接字符,Unicode 标准说明它用于两端对齐:在字符之间插入它可以把一行拉长。它不携带任何意义,所以 كتـــاب 和 كتاب 应该匹配。
示例:
| 输入 | 规范化之后 | 使用的规则 |
|---|---|---|
| إِسْلامٌ | اسلام | 变音符号、alef |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |
为什么重要
Larkey、Ballesteros 和 Connell(2002)对 TREC-2001 阿拉伯语新闻语料做了规范化:去掉标点、变音符号和非字母字符,并把几种字母变体替换成同一种形式。仅靠规范化,单语平均精度就从 .194 提高到 .238。再加上他们的 light8 词干提取器,达到 .376。
同样的道理也适用于:
- RAG 与关键词搜索。 不带 hamza 输入的查询,应该能找到带 hamza 书写的文档。参见阿拉伯语 RAG 搜索。
- 词错误率。 阿拉伯语 ASR 的得分取决于参考文本和转写结果是否用同样的方式做了规范化。阿拉伯语 WER 详解展示了其中的影响。
- 去重与分析。 统计词语或用户用语时不做规范化,一个词就会被拆成好几个。
代价是不同的词被合并。统一 alef 会把不同的虚词 إن 和 أن 变成同一个字符串,ة 改 ه 的规则会把 كرة(球)和 كره(憎恨)合并。请把 hamza 和 taa marbuta 相关的规则当作可调的选项。
在 BroadNet Inference 上
规范化在你的代码里运行,不在 API 上。BroadNet 的对话和转写端点按原样接收你的文本或音频。请保留两份:原文给模型和用户,规范化后的键用于匹配。
免费的阿拉伯语文本规范化工具在浏览器里应用这些规则,让你看到每条规则改了什么。规范化指南提供经过测试的 Python 代码,并逐条讨论了这些规则。
常见错误
- 只规范化文档而不规范化查询,或者反过来。
- 把规范化后的文本展示或引用给用户。
- 混用规则不同的库,例如对 ى 有两种不同映射的库。