阿拉伯语允许同一个词有好几种写法。用户输入 احمد,文档里写的是 أَحْمَد。逐字符比较的搜索索引会错过这次匹配,RAG 流水线中的关键词检索部分也一样。规范化的作用,是在比较之前把各种变体映射为同一种形式。但做得不小心,也会把意思不同的词合并在一起。本文逐条讲解每条规则:它做什么、何时使用、会破坏什么,以及主流库之间的差异。最后给出经过测试的 Python 代码。
完整的阿拉伯语 RAG 流水线(分块、混合检索、带引用的回答),见真正可用的阿拉伯语 RAG。本文更深入地讲规范化这一步。
规范化真的有助于检索吗?
对关键词搜索来说,是的,证据虽然老,但很清楚。Larkey、Ballesteros 与 Connell(SIGIR 2002)在 TREC-2001 新闻语料上测试了阿拉伯语检索。在词干提取之前,他们对语料和查询做了规范化:去掉注音符号和标点,统一 alef 变体,并映射词尾的 ى 和 ة。他们在单语、未扩展查询下的结果:
| 处理方式 | 平均精确率 | 相对原始文本的变化(按四舍五入后的数值计算) |
|---|---|---|
| 原始文本 | .194 | — |
| 规范化 | .238 | +22.7% |
| 规范化 + 轻量词干提取(light8) | .376 | +93.8% |
有两点需要注意。这是 2002 年在新闻上做的关键词检索,不是向量搜索。而且最大的提升来自轻量词干提取(去掉 و、ال 等前缀和常见后缀),这是与规范化分开的一步。Lucene 的 ArabicAnalyzer 和 Elasticsearch 的 arabic 分析器两者都做:先规范化,再做轻量词干提取。
应该规范化什么,每条规则的代价是什么?
| 规则 | 示例 | 搜索索引 | 风险 |
|---|---|---|---|
| Unicode NFKC | ﻻ → لا,ا + ٔ → أ | 要,总是第一步 | 也会改写其他文字中的兼容字符 |
| 去除不可见标记 | 零宽连接符、RLM/LRM、BOM | 要 | 对阿拉伯语无风险;ZWNJ 在波斯语中有意义 |
| 去除 tashkeel | أَحْمَدُ → أحمد | 要 | 合并只靠元音区分的词 |
| 去除 tatweel(ـ) | الـــمدينة → المدينة | 要 | 无 |
| 统一 alef | أ إ آ ٱ → ا | 要 | 合并少数词对:سأل(问)和 سال(流) |
| Alef maksura | ى → ي | 通常要 | 合并 على(在……上)和 علي(阿里) |
| Ta marbuta | ة → ه | 通常要 | 合并 كتابة(书写)和 كتابه(他的书) |
| Hamza 载体 | ؤ ئ → ء | 可选 | 合并 مسؤول 和 مسئول(好事),但也合并一些不同的词 |
| 波斯字母 | ی → ي,ک → ك | 用户使用波斯语键盘时要 | 对阿拉伯语文本无风险 |
| 数字 | ٢٠٢٦ 和 ۲۰۲۶ → 2026 | 要 | 无;原文保留用于显示 |
第一列针对的是索引键和查询。你存储、显示和传给模型的文本保持原样。
为什么要先做 Unicode 规范化?
同一个看得见的字母,可以有不同的存储方式。أ 可以是一个码位(U+0623),也可以是不带 hamza 的 alef 后接一个组合 hamza(U+0627 U+0654)。较旧的 PDF 和某些键盘会产生阿拉伯文呈现形式(U+FB50 到 U+FEFF),例如单字符的 lam-alef ﻻ。按照 Unicode 规范化,NFC 会把 hamza 组合到 alef 上,NFKC 还会拆开呈现形式和连字。在 Python 中,unicodedata.normalize("NFKC", "ﻻ") 返回 لا,ﷲ 变成 الله。
把这一步放在最前面。否则,替换 أ 的正则表达式会漏掉分解形式。还有第二个陷阱:CAMeL Tools 的 dediac_ar 删除的是其 AR_DIAC_CHARSET 中的字符(U+064B 到 U+0652 以及 U+0670)。这个集合不包括组合 hamza 和 madda 符号(U+0653 到 U+0655),所以在分解形式的文本上,它们会在去注音后残留下来。NFKC 会先把它们组合起来。
NFKC 是兼容性映射,它也会改变阿拉伯文以外的字符,例如全角拉丁字母。在搜索键里这通常正是你想要的,这也是要把原文保留在旁边的又一个理由。
哪些内容不应该规范化?
- **你显示、引用或引述的文本。**规范化后的阿拉伯语看起来像拼错了(المدينه)。把原文存放在键的旁边。
- **发给大模型的内容。**模型能很好地读懂 hamza 和 tashkeel,原样的文本能让人名和引文保持准确。去掉 tashkeel 能省一些 token;用准确性去换之前,先用阿拉伯语 token 计数器看看能省多少。
- 符号承载意义的文本:《古兰经》、圣训、诗歌、儿童读物、发音和注音任务(参见用大模型加注音符号)。
- **拼写或语法纠错:**先规范化会抹掉你要纠正的 hamza 和 taa marbuta 错误;参见用大模型做阿拉伯语语法和拼写纠错。
- **标识符。**产品编码、邮箱、URL 和拉丁文字不能套用阿拉伯语规则。只对阿拉伯文字段或阿拉伯文词元做规范化。
- **需要精确搜索的字段。**对法定名称或类似 ID 的字段,再额外索引一份原始副本,这样精确匹配仍能排在最前面。
CAMeL Tools、PyArabic 和 Lucene 有何不同?
它们实现的规则并不相同,混用会导致索引和查询永远匹配不上。我们阅读了每个库的文档和源码,并运行了 PyArabic 0.6.15:
| 函数 | 实际做了什么 |
|---|---|
CAMeL normalize_unicode |
NFKC(compatibility=False 时为 NFC);还会把 ﷼ 展开为 ريال,把 ﷽ 展开为完整短语 |
CAMeL normalize_alef_ar |
إ أ ٱ آ → ا |
CAMeL normalize_alef_maksura_ar |
ى → ي |
CAMeL normalize_teh_marbuta_ar |
ة → ه |
CAMeL dediac_ar |
删除 U+064B 到 U+0652 以及 U+0670;保留 tatweel |
PyArabic strip_tashkeel |
删除包括 shadda 在内的所有 harakat |
PyArabic strip_tatweel |
删除 ـ |
PyArabic normalize_alef |
所有 alef 形式以及 ى → ا,于是 إلى 变成 الا |
PyArabic normalize_hamza |
默认方法把所有 hamza 形式(包括 أ)映射为 ء,于是 أحمد 变成 ءحمد |
Lucene ArabicNormalizer |
alef 上带 hamza 的形式 → ا,ة → ه,ى → ي,删除 harakat 和 tatweel |
PyArabic 那几行常常出人意料。它的 normalize_alef 文档字符串说 alef maksura 是例外,但在 0.6.15 中,ALEFAT 集合包含 ى,函数会把它映射为 ا。它的 normalize_hamza 是为不区分 hamza 的匹配设计的,而不是通用搜索。顺序也很重要:先做 alef 规范化,normalize_hamza 就只会处理 ؤ、ئ 和 ء,于是 مسؤول 和 مسئول 都变成 مسءول。它的 tasheel 方法则得到 مسوول 和 مسيول,两者互不匹配。
Elasticsearch 的 arabic_normalization 过滤器使用 Lucene 的规范化器,所以想要与 Elasticsearch 索引匹配的 Python 流水线,应当完全照搬 Lucene 的规则。也就是 ى → ي,而不是 ى → ا。
一个经过测试的规范化函数长什么样?
这个函数遵循 Lucene 的选择,增加了 Unicode、数字和波斯字母的处理,并把有风险的规则做成开关。它只用到标准库。
import re
import unicodedata
DIACRITICS = re.compile("[ً-ٰٟ]") # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[---]") # zero-width, bidi
ALEF = re.compile("[آأإٱ]") # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"}) # ی -> ي, ک -> ك
def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
hamza_seats=False, digits=True):
text = unicodedata.normalize("NFKC", text) # compose marks, unpack ligatures
text = INVISIBLE.sub("", text)
text = DIACRITICS.sub("", text).replace("ـ", "") # tashkeel, tatweel
text = text.translate(FARSI)
if alef:
text = ALEF.sub("ا", text)
if alef_maksura:
text = text.replace("ى", "ي") # ى -> ي
if ta_marbuta:
text = text.replace("ة", "ه") # ة -> ه
if hamza_seats:
text = re.sub("[ؤئ]", "ء", text) # ؤ ئ -> ء
if digits:
text = text.translate(DIGITS)
return text
它在我们的测试字符串上返回的结果:
| 输入 | 输出 | 说明 |
|---|---|---|
| أَحْمَدُ | احمد | 去掉了 tashkeel 和 hamza |
| الـــمدينة | المدينه | tatweel 和 ta marbuta |
| إلى | الي | alef 和 alef maksura |
| ا + U+0654 + مل | امل | 分解的 hamza 先被组合,再被统一 |
| ﻻبد | لابد | 呈现形式被拆开 |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | 阿拉伯-印度数字和波斯数字 |
| مسؤول / مسئول | hamza_seats=True 时都变成 مسءول |
默认不变 |
| فارسی | فارسي | 波斯语的 ya |
在两个地方使用它:构建索引键时,以及读取查询时。把 original 和 normalize(original) 并排存放,用后者搜索,返回前者。免费的阿拉伯语文本规范化工具可以让你粘贴文本,在选定设置之前看到每条规则的效果。
规范化如何配合向量嵌入和 RAG?
RAG 流水线通常有两个检索器:关键词搜索(BM25)和向量嵌入。规范化显然有助于关键词那一侧。对向量那一侧,上面的证据并不适用:嵌入模型是在原始文本上训练的,许多模型已经把 احمد 和 أحمد 放得很近。嵌入前做规范化,可能有帮助,可能没影响,也可能有害。准备 50 到 100 条已知答案的真实查询,分别用原始输入和规范化输入运行,保留召回率更高的那种。无论选哪种,对文档和查询都要一致地应用。
规范化还会略微降低 token 数,因为注音符号和 tatweel 对分词器来说是额外字符。实测比值见分词器效率数据集和阿拉伯语每词 token 数。同样的规范化也用于公平地评估语音识别;参见阿拉伯语 WER 详解。
Arabizi(用拉丁字母书写的阿拉伯语)需要完全不同的方法:大模型如何处理 Arabizi。
BroadNet Inference 的定位
规范化在你自己的代码里运行,不需要任何 API。BroadNet Inference 在检索之后才登场。它不提供嵌入服务,所以请自选检索器和嵌入服务商,再搭配一个 BroadNet 对话模型完成回答这一步。GLM 5.3 和 DeepSeek V4.1 Flash 支持 1,048,576 token 的上下文,你可以把许多检索到的段落以未经规范化的原始阿拉伯语传进去。按阿拉伯语质量选择模型,参见如何为阿拉伯语选择大模型。如果你只需要关键词搜索,Elasticsearch 内置的 arabic 分析器可能就足够了。
