BroadRouter
开始使用

面向搜索和 RAG 的阿拉伯语文本规范化:该改什么,不该改什么

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 · 更新于

对搜索和 RAG 索引,存储副本和每条查询都要用同样的方式规范化:Unicode NFKC,去掉 tashkeel 和 tatweel,统一 alef 变体,把 ى 映射为 ي、ة 映射为 ه,并转换数字。原文保留用于显示和发给大模型。hamza 载体和 ta marbuta 的规则应可调:它们能提高召回率,但会合并一些不同的词。

阿拉伯语允许同一个词有好几种写法。用户输入 احمد,文档里写的是 أَحْمَد。逐字符比较的搜索索引会错过这次匹配,RAG 流水线中的关键词检索部分也一样。规范化的作用,是在比较之前把各种变体映射为同一种形式。但做得不小心,也会把意思不同的词合并在一起。本文逐条讲解每条规则:它做什么、何时使用、会破坏什么,以及主流库之间的差异。最后给出经过测试的 Python 代码。

完整的阿拉伯语 RAG 流水线(分块、混合检索、带引用的回答),见真正可用的阿拉伯语 RAG。本文更深入地讲规范化这一步。

规范化真的有助于检索吗?

对关键词搜索来说,是的,证据虽然老,但很清楚。Larkey、Ballesteros 与 Connell(SIGIR 2002)在 TREC-2001 新闻语料上测试了阿拉伯语检索。在词干提取之前,他们对语料和查询做了规范化:去掉注音符号和标点,统一 alef 变体,并映射词尾的 ى 和 ة。他们在单语、未扩展查询下的结果:

处理方式 平均精确率 相对原始文本的变化(按四舍五入后的数值计算)
原始文本 .194 —
规范化 .238 +22.7%
规范化 + 轻量词干提取(light8) .376 +93.8%

有两点需要注意。这是 2002 年在新闻上做的关键词检索,不是向量搜索。而且最大的提升来自轻量词干提取(去掉 و、ال 等前缀和常见后缀),这是与规范化分开的一步。Lucene 的 ArabicAnalyzer 和 Elasticsearch 的 arabic 分析器两者都做:先规范化,再做轻量词干提取。

应该规范化什么,每条规则的代价是什么?

规则 示例 搜索索引 风险
Unicode NFKC ﻻ → لا,ا + ٔ → أ 要,总是第一步 也会改写其他文字中的兼容字符
去除不可见标记 零宽连接符、RLM/LRM、BOM 要 对阿拉伯语无风险;ZWNJ 在波斯语中有意义
去除 tashkeel أَحْمَدُ → أحمد 要 合并只靠元音区分的词
去除 tatweel(ـ) الـــمدينة → المدينة 要 无
统一 alef أ إ آ ٱ → ا 要 合并少数词对:سأل(问)和 سال(流)
Alef maksura ى → ي 通常要 合并 على(在……上)和 علي(阿里)
Ta marbuta ة → ه 通常要 合并 كتابة(书写)和 كتابه(他的书)
Hamza 载体 ؤ ئ → ء 可选 合并 مسؤول 和 مسئول(好事),但也合并一些不同的词
波斯字母 ی → ي,ک → ك 用户使用波斯语键盘时要 对阿拉伯语文本无风险
数字 ٢٠٢٦ 和 ۲۰۲۶ → 2026 要 无;原文保留用于显示

第一列针对的是索引键和查询。你存储、显示和传给模型的文本保持原样。

为什么要先做 Unicode 规范化?

同一个看得见的字母,可以有不同的存储方式。أ 可以是一个码位(U+0623),也可以是不带 hamza 的 alef 后接一个组合 hamza(U+0627 U+0654)。较旧的 PDF 和某些键盘会产生阿拉伯文呈现形式(U+FB50 到 U+FEFF),例如单字符的 lam-alef ﻻ。按照 Unicode 规范化,NFC 会把 hamza 组合到 alef 上,NFKC 还会拆开呈现形式和连字。在 Python 中,unicodedata.normalize("NFKC", "ﻻ") 返回 لا,ﷲ 变成 الله。

把这一步放在最前面。否则,替换 أ 的正则表达式会漏掉分解形式。还有第二个陷阱:CAMeL Tools 的 dediac_ar 删除的是其 AR_DIAC_CHARSET 中的字符(U+064B 到 U+0652 以及 U+0670)。这个集合不包括组合 hamza 和 madda 符号(U+0653 到 U+0655),所以在分解形式的文本上,它们会在去注音后残留下来。NFKC 会先把它们组合起来。

NFKC 是兼容性映射,它也会改变阿拉伯文以外的字符,例如全角拉丁字母。在搜索键里这通常正是你想要的,这也是要把原文保留在旁边的又一个理由。

哪些内容不应该规范化?

  • **你显示、引用或引述的文本。**规范化后的阿拉伯语看起来像拼错了(المدينه)。把原文存放在键的旁边。
  • **发给大模型的内容。**模型能很好地读懂 hamza 和 tashkeel,原样的文本能让人名和引文保持准确。去掉 tashkeel 能省一些 token;用准确性去换之前,先用阿拉伯语 token 计数器看看能省多少。
  • 符号承载意义的文本:《古兰经》、圣训、诗歌、儿童读物、发音和注音任务(参见用大模型加注音符号)。
  • **拼写或语法纠错:**先规范化会抹掉你要纠正的 hamza 和 taa marbuta 错误;参见用大模型做阿拉伯语语法和拼写纠错。
  • **标识符。**产品编码、邮箱、URL 和拉丁文字不能套用阿拉伯语规则。只对阿拉伯文字段或阿拉伯文词元做规范化。
  • **需要精确搜索的字段。**对法定名称或类似 ID 的字段,再额外索引一份原始副本,这样精确匹配仍能排在最前面。

CAMeL Tools、PyArabic 和 Lucene 有何不同?

它们实现的规则并不相同,混用会导致索引和查询永远匹配不上。我们阅读了每个库的文档和源码,并运行了 PyArabic 0.6.15:

函数 实际做了什么
CAMeL normalize_unicode NFKC(compatibility=False 时为 NFC);还会把 ﷼ 展开为 ريال,把 ﷽ 展开为完整短语
CAMeL normalize_alef_ar إ أ ٱ آ → ا
CAMeL normalize_alef_maksura_ar ى → ي
CAMeL normalize_teh_marbuta_ar ة → ه
CAMeL dediac_ar 删除 U+064B 到 U+0652 以及 U+0670;保留 tatweel
PyArabic strip_tashkeel 删除包括 shadda 在内的所有 harakat
PyArabic strip_tatweel 删除 ـ
PyArabic normalize_alef 所有 alef 形式以及 ى → ا,于是 إلى 变成 الا
PyArabic normalize_hamza 默认方法把所有 hamza 形式(包括 أ)映射为 ء,于是 أحمد 变成 ءحمد
Lucene ArabicNormalizer alef 上带 hamza 的形式 → ا,ة → ه,ى → ي,删除 harakat 和 tatweel

PyArabic 那几行常常出人意料。它的 normalize_alef 文档字符串说 alef maksura 是例外,但在 0.6.15 中,ALEFAT 集合包含 ى,函数会把它映射为 ا。它的 normalize_hamza 是为不区分 hamza 的匹配设计的,而不是通用搜索。顺序也很重要:先做 alef 规范化,normalize_hamza 就只会处理 ؤ、ئ 和 ء,于是 مسؤول 和 مسئول 都变成 مسءول。它的 tasheel 方法则得到 مسوول 和 مسيول,两者互不匹配。

Elasticsearch 的 arabic_normalization 过滤器使用 Lucene 的规范化器,所以想要与 Elasticsearch 索引匹配的 Python 流水线,应当完全照搬 Lucene 的规则。也就是 ى → ي,而不是 ى → ا。

一个经过测试的规范化函数长什么样?

这个函数遵循 Lucene 的选择,增加了 Unicode、数字和波斯字母的处理,并把有风险的规则做成开关。它只用到标准库。

import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text

它在我们的测试字符串上返回的结果:

输入 输出 说明
أَحْمَدُ احمد 去掉了 tashkeel 和 hamza
الـــمدينة المدينه tatweel 和 ta marbuta
إلى الي alef 和 alef maksura
ا + U+0654 + مل امل 分解的 hamza 先被组合,再被统一
ﻻبد لابد 呈现形式被拆开
٢٠٢٦ / ۱۴۰۵ 2026 / 1405 阿拉伯-印度数字和波斯数字
مسؤول / مسئول hamza_seats=True 时都变成 مسءول 默认不变
فارسی فارسي 波斯语的 ya

在两个地方使用它:构建索引键时,以及读取查询时。把 original 和 normalize(original) 并排存放,用后者搜索,返回前者。免费的阿拉伯语文本规范化工具可以让你粘贴文本,在选定设置之前看到每条规则的效果。

规范化如何配合向量嵌入和 RAG?

RAG 流水线通常有两个检索器:关键词搜索(BM25)和向量嵌入。规范化显然有助于关键词那一侧。对向量那一侧,上面的证据并不适用:嵌入模型是在原始文本上训练的,许多模型已经把 احمد 和 أحمد 放得很近。嵌入前做规范化,可能有帮助,可能没影响,也可能有害。准备 50 到 100 条已知答案的真实查询,分别用原始输入和规范化输入运行,保留召回率更高的那种。无论选哪种,对文档和查询都要一致地应用。

规范化还会略微降低 token 数,因为注音符号和 tatweel 对分词器来说是额外字符。实测比值见分词器效率数据集和阿拉伯语每词 token 数。同样的规范化也用于公平地评估语音识别;参见阿拉伯语 WER 详解。

Arabizi(用拉丁字母书写的阿拉伯语)需要完全不同的方法:大模型如何处理 Arabizi。

BroadNet Inference 的定位

规范化在你自己的代码里运行,不需要任何 API。BroadNet Inference 在检索之后才登场。它不提供嵌入服务,所以请自选检索器和嵌入服务商,再搭配一个 BroadNet 对话模型完成回答这一步。GLM 5.3 和 DeepSeek V4.1 Flash 支持 1,048,576 token 的上下文,你可以把许多检索到的段落以未经规范化的原始阿拉伯语传进去。按阿拉伯语质量选择模型,参见如何为阿拉伯语选择大模型。如果你只需要关键词搜索,Elasticsearch 内置的 arabic 分析器可能就足够了。

常见问题

建索引前要去掉阿拉伯语文本的 tashkeel(注音符号)吗?

做搜索的话,要。大多数查询和大多数现代文本都没有注音符号,否则带注音的文档就匹配不上。从索引键和查询中去掉它们,原文保留用于显示;在《古兰经》、诗歌或发音类任务中,注音符号承载意义,要保留。

ta marbuta(ة)应该规范化为 ha(ه)吗?

做搜索时通常应该,因为很多人在词尾打的是 ه。但它确实会合并一些词对,例如 كتابة(书写)和 كتابه(他的书)。如果在你的领域里这些冲突很重要,就保留 ة,并测试两种设置。

Elasticsearch 中的阿拉伯语规范化做了什么?

arabic_normalization 词元过滤器使用 Lucene 的 ArabicNormalizer:把 alef 上带 hamza 的各种形式变为不带 hamza 的 alef,ta marbuta 变为 ha,alef maksura 变为 ya,并去除 harakat 和 tatweel。内置的 arabic 分析器还加上了停用词,以及一个去除附着冠词、连词、介词和常见后缀的词干提取器。

规范化阿拉伯语对向量搜索有帮助吗?

尚无定论。已测得的收益来自关键词检索。嵌入模型从原始文本中学习,往往能处理拼写变体,所以在定下方案之前,先准备一小组真实查询,比较规范化前后的召回率。

把阿拉伯语文本发给大模型之前要先规范化吗?

一般不要。发送原文,引文、人名和出处才能保持准确。去掉 tashkeel 能省一些 token,但只有在任务不需要这些符号时才这样做。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity