BroadRouter
开始使用

阿拉伯语文本规范化(Arabic text normalization)

更新于

阿拉伯语文本规范化是在匹配之前把同一个词的不同拼写统一成一种形式的步骤:去掉变音符号和 tatweel,统一 alef 的各种写法,通常还把 ى 映射为 ي、把 ة 映射为 ه。它用于搜索键和评测,不用于展示的文本。

又称: 阿拉伯语规范化、阿拉伯语文本标准化、阿拉伯语归一化、alef 规范化、正字法规范化、Arabic normalization、alef normalization、orthographic normalization、tatweel、kashida、alef variants、Arabic text normalization

阿拉伯语用户会用好几种方式打出同一个词。规范化让这些拼写能够互相匹配。

工作原理

规范化是一组字符改写规则,同时作用于存储的文本和查询。许多搜索引擎使用的 Apache Lucene ArabicNormalizer 列出了五条规则:

  1. 带 alef 底座的 hamza 改为单纯的 alef;
  2. teh marbuta(ة)改为 heh(ه);
  3. 无点 yeh,即 alef maksura(ى),改为 yeh(ي);
  4. 去掉 harakat(变音符号);
  5. 去掉 tatweel,即“拉长字符”。

CAMeL Tools 把同样的思路拆成了单独的函数。normalize_alef_ar 把 إ أ ٱ آ(U+0625、U+0623、U+0671、U+0622)映射为 ا,normalize_alef_maksura_ar 把 ى 映射为 ي,normalize_teh_marbuta_ar 把 ة 映射为 ه。normalize_unicode 默认执行 NFKC,也就是 Unicode 规范化,这一步应该最先做。

Tatweel(U+0640,又称 kashida)是一个连接字符,Unicode 标准说明它用于两端对齐:在字符之间插入它可以把一行拉长。它不携带任何意义,所以 كتـــاب 和 كتاب 应该匹配。

示例:

输入 规范化之后 使用的规则
إِسْلامٌ اسلام 变音符号、alef
مدرسة مدرسه teh marbuta
مستشفى مستشفي alef maksura
كتـــاب كتاب tatweel

为什么重要

Larkey、Ballesteros 和 Connell(2002)对 TREC-2001 阿拉伯语新闻语料做了规范化:去掉标点、变音符号和非字母字符,并把几种字母变体替换成同一种形式。仅靠规范化,单语平均精度就从 .194 提高到 .238。再加上他们的 light8 词干提取器,达到 .376。

同样的道理也适用于:

  • RAG 与关键词搜索。 不带 hamza 输入的查询,应该能找到带 hamza 书写的文档。参见阿拉伯语 RAG 搜索。
  • 词错误率。 阿拉伯语 ASR 的得分取决于参考文本和转写结果是否用同样的方式做了规范化。阿拉伯语 WER 详解展示了其中的影响。
  • 去重与分析。 统计词语或用户用语时不做规范化,一个词就会被拆成好几个。

代价是不同的词被合并。统一 alef 会把不同的虚词 إن 和 أن 变成同一个字符串,ة 改 ه 的规则会把 كرة(球)和 كره(憎恨)合并。请把 hamza 和 taa marbuta 相关的规则当作可调的选项。

在 BroadNet Inference 上

规范化在你的代码里运行,不在 API 上。BroadNet 的对话和转写端点按原样接收你的文本或音频。请保留两份:原文给模型和用户,规范化后的键用于匹配。

免费的阿拉伯语文本规范化工具在浏览器里应用这些规则,让你看到每条规则改了什么。规范化指南提供经过测试的 Python 代码,并逐条讨论了这些规则。

常见错误

  • 只规范化文档而不规范化查询,或者反过来。
  • 把规范化后的文本展示或引用给用户。
  • 混用规则不同的库,例如对 ى 有两种不同映射的库。

常见问题

规范化对向量检索也有帮助吗?

经典的结论是在关键词搜索上测出来的。对于嵌入向量,请先用你自己的查询分别测试规范化和未规范化的输入,再做决定。

把文本发给大模型之前要先规范化吗?

通常不要。发送原文,让模型看到真实的拼写、hamza 和变音符号。只对用于匹配、索引或打分的副本做规范化。

所有库的规则都一样吗?

不一样。CAMeL Tools 和 Lucene 都把 alef maksura 映射为 yeh、把 teh marbuta 映射为 heh,但其他库各有不同。选定一套规则,文档和查询都用它。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity