---
title: "阿拉伯语 RAG：文本规范化、分块与向量嵌入 | BroadRouter"
description: "针对阿拉伯语文档的检索增强生成：规范化 alef、ya 和 ta marbuta，合理分块，选择多语言嵌入模型，再加上关键词检索。"
url: https://broadrouter.com/zh/blog/arabic-rag-search/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/arabic-rag-search/)（2026-11-14 更新）。

# 阿拉伯语 RAG：真正有效的规范化、分块与检索

BroadNet Inference 团队 · 阅读约 6 分钟 · 发布于 2026-11-14

阿拉伯语 RAG 要做好，需要在建索引前规范化文本（统一 alef 写法、ya 与 alef maqsura、ta marbuta，去掉变音符号和 tatweel），按段落分块，把多语言嵌入模型和关键词检索结合起来，再让长上下文大模型根据检索到的段落作答并注明出处。查询也要用同样的规则规范化。

## 要点

-   文档和查询用同一套规则规范化：أ/إ/آ 统一为 ا，ى 统一为 ي，ة 统一为 ه，去掉变音符号和 tatweel。
-   保留原文用于展示，用规范化后的副本建索引。
-   把带阿拉伯语分析器的关键词检索和多语言嵌入结合起来，再用你自己的查询把混合检索与单独每种方式对比测试。
-   选一个在阿拉伯语查询上测试过的多语言嵌入模型。BroadNet Inference 不提供嵌入接口。
-   长上下文模型让你可以放宽检索数量：DeepSeek V4.1 Flash 和 GLM 5.3 支持 1,048,576 token。

**本页内容**

1.  阿拉伯语 RAG 流水线是什么样的？
2.  阿拉伯语文本该如何规范化以便检索？
3.  阿拉伯语文档该如何分块？
4.  为什么要把关键词检索和嵌入结合起来？
5.  如何生成带引用的回答？
6.  如何评估阿拉伯语 RAG？

_[image: A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."]_

要让[检索增强生成](https://broadrouter.com/zh/glossary/rag/)（RAG）在阿拉伯语上奏效，文档和查询要用同一套拼写规则规范化，按段落分块，同时用阿拉伯语关键词分析器和多语言嵌入模型检索，并让大模型只根据检索到的段落作答、注明出处。

[RAG 原始论文](https://arxiv.org/abs/2005.11401)给出的模式是先检索、再生成。阿拉伯语 RAG 的失败大多发生在前半段。用户输入 “الفاتوره”，索引里存的是 “الفاتورة”；政策里写 “إلغاء”，用户写 “الغاء”；嵌入模型主要用英语训练。把检索修好，大模型那部分往往就不用操心了。

## 阿拉伯语 RAG 流水线是什么样的？

1.  **提取**PDF、网页和帮助中心文章中的文本。扫描版阿拉伯语 PDF 请见[阿拉伯语 OCR 与视觉大模型对比](https://broadrouter.com/zh/blog/arabic-ocr-vision-llm/)。
2.  **规范化**一份用于索引的文本副本。
3.  **分块**按结构切分：标题和段落。
4.  **索引**两次：一个关键词索引，一个向量索引。
5.  **检索**用规范化后的查询分别检索两个索引，合并并重排序。
6.  **生成**根据排名靠前的段落作答，并引用它们。

## 阿拉伯语文本该如何规范化以便检索？

阿拉伯语中同一个词可以有几种拼法，用户输入时也很少一致地加变音符号或 hamza。对索引副本和每个查询都用同一个函数规范化：

| 规则 | 字符 | 原因 |
| --- | --- | --- |
| 统一 alef | أ إ آ ٱ → ا | 打字时常省略 hamza |
| Alef maqsura | ى → ي | 埃及人的输入习惯和随意拼写中很常见 |
| Ta marbuta | ة → ه | 用户在词尾输入 ه |
| 去掉变音符号 | U+064B 至 U+0652、U+0670 | 大多数文本和查询都不标元音 |
| 去掉 tatweel | ـ (U+0640) | 装饰性的拉长 |
| 数字 | ٠–٩ → 0–9 | 两种写法的数字都能匹配 |

可以用[阿拉伯语文本规范化工具](https://broadrouter.com/tools/arabic-text-normalizer/)在你自己的文本上逐项试验，它还会生成对应的 Python 函数。

```python
import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
```

码位见 [Unicode 阿拉伯文码表](https://www.unicode.org/charts/PDF/U0600.pdf)。两点提醒：

-   \*\*永远不要展示规范化后的文本。\*\*把原文存在旁边，展示、引用和发送给大模型的都用原文。规范化后的阿拉伯语在读者看来像是拼错了。
-   \*\*有些合并会丢失含义。\*\*ة → ه 会合并少数词对，ى → ي 会把 “على”（在……上）和 “علي”（阿里）合并。为了检索召回率，这种取舍通常值得；请用你自己的查询测试。

同样的规则也是[衡量阿拉伯语语音识别准确率](https://broadrouter.com/zh/blog/arabic-asr-wer-explained/)的核心，所以整个技术栈可以复用同一个函数。

## 阿拉伯语文档该如何分块？

-   \*\*按结构切分。\*\*标题、合同中带编号的条款（المادة ١، المادة ٢）和段落分隔都是天然的边界。
-   \*\*每块几百个词，\*\*重叠一两句话。阿拉伯语单词承载的语素比英语单词多，所以按词数算，一个分块覆盖的含义比看上去更多。
-   \*\*句子边界：\*\*只有万不得已才按 . ؟ ! 和阿拉伯语逗号 ، 切分。许多阿拉伯语文本用 و 连接成长句，所以按段落切分更稳妥。
-   \*\*携带上下文。\*\*在每个分块前加上阿拉伯语的文档标题和章节标题，这样写着 “تُطبَّق هذه الرسوم”（这些费用适用）的分块仍能说明是哪些费用。

[RAG 分块计算器](https://broadrouter.com/tools/rag-chunking-calculator/)可以把分块大小、重叠和 top-k 换算成分块数量、每次查询的 token 数和月度费用。

## 为什么要把关键词检索和嵌入结合起来？

### 关键词检索

阿拉伯语的形态变化会让简单的关键词匹配失效：كتاب、الكتاب、بالكتاب、وكتابه 和 كتب 都和“书”有关。要用能处理阿拉伯语的分析器。Elasticsearch 自带一个 [Arabic 语言分析器](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html)，依次串联阿拉伯语停用词、数字规范化、阿拉伯语规范化和阿拉伯语词干提取器，因此 الكتاب 和 وكتاب 这类带前缀的形式更常能匹配上。在依赖它之前，先用你自己的词汇检查它会合并哪些词。

### 嵌入

[嵌入模型](https://broadrouter.com/zh/glossary/embeddings/)把文本映射成向量，让含义相近的段落即使没有共同的词也挨得很近。对于阿拉伯语，选择多语言模型并加以测试：

-   \*\*优先选用多语言训练的模型，\*\*比如 [BGE M3](https://arxiv.org/abs/2402.03216)，其作者称它支持 100 多种工作语言。纯英语模型给出的阿拉伯语向量质量很差。
-   \*\*测试跨语言检索，\*\*如果用户用英语询问阿拉伯语文档，或者反过来。
-   \*\*嵌入原文或规范化文本都可以，但文档和查询要保持一致。\*\*两种都测一下，结果因模型而异。

BroadNet Inference 不提供嵌入接口：它文档中的接口只有对话补全和音频转写。请使用你信任的嵌入服务商，或者在[向量数据库](https://broadrouter.com/zh/glossary/vector-database/)旁自托管开源的多语言嵌入模型，生成交给 BroadNet。[嵌入费用计算器](https://broadrouter.com/tools/embedding-cost-calculator/)可以按服务商计算建索引和查询的费用。

### 合并与重排序

两种检索都跑一遍，用倒数排名融合（reciprocal rank fusion，每个文档的得分是它在各列表中 1 / (k + 排名) 之和）合并结果，保留前 10 到 30 个段落。重排序模型或者一次快速的大模型相关性检查可以再精简一些，但用长上下文模型时，这一步往往可以省掉。

## 如何生成带引用的回答？

把带编号的段落交给模型，要求它只根据这些段落作答：

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content
```

这段阿拉伯语系统提示词的意思是：“用简明的现代标准阿拉伯语回答用户的问题，只依据所附段落。在每条信息后用方括号注明段落编号。如果在段落中找不到答案，就明确说明。”用英文写指令效果一样；关键是“只根据段落作答并注明出处”这条规则。

把段落放在问题前面。如果同样的文档出现在很多请求中，让它们按相同顺序放在提示词开头，这样就能按缓存输入价计费；参见[缓存输入 token](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)。

### 用哪个模型？

| 模型 | 上下文 | 原因 |
| --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) | 1,048,576 | 在 BroadNet 上这三个模型中缓存输入价最低（每百万 token $0.0055），能放下大量段落，还有固定价格套餐 |
| [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) | 1,048,576 | 支持工具调用和结构化输出，适合智能体式检索 |
| [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) | 262,144 | BroadNet 做过阿拉伯语测试：写作流畅，能理解海湾方言和埃及方言 |

有了百万 token 的上下文，你可以放宽检索数量，比如取 50 个段落而不是 5 个，让模型自己挑选。这样即使检索把正确段落排在第 12 位，损失也会小一些。对于小型文档集，你可能根本不需要检索；请看[长上下文与 RAG 对比](https://broadrouter.com/zh/blog/long-context-vs-rag/)，并用[上下文窗口计算器](https://broadrouter.com/tools/context-window-calculator/)检查你的语料能否放得下。所有模型的价格见[价格页面](https://broadrouter.com/zh/pricing/)。

## 如何评估阿拉伯语 RAG？

1.  写 50 到 100 个真实问题，按用户实际输入的比例混合 MSA、方言和英语。
2.  为每个问题标出能回答它的段落。
3.  先衡量检索：正确段落是否在前 10 名？对比仅关键词、仅嵌入和混合检索，分别在有无规范化的情况下测试。
4.  再衡量回答：是否正确、是否注明出处，答案缺失时是否回答“未找到”。
5.  有意加入拼错的查询和方言查询。用户会写 “وين الفاتوره”（海湾/黎凡特方言：发票在哪），而不是 “أين الفاتورة”。

在更换生成模型之前，先把检索修好：如果正确的段落始终进不了提示词，任何模型都无法引用它。

相关免费工具（英文）

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[嵌入向量（embeddings）](https://broadrouter.com/zh/glossary/embeddings/)

嵌入向量（embeddings）是模型为一段文本、一张图片或其他输入生成的浮点数列表（向量）。意思相近的输入会得到彼此接近的向量，因此可以用向量之间的距离来给搜索结果排序、对文档聚类或查找相关条目。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[海姆宰（hamza）](https://broadrouter.com/zh/glossary/hamza/)

Hamza（ء，海姆宰）是阿拉伯语表示声门塞音的字母。它可单独书写，也可写在 alef（أ إ）、waw（ؤ）或 yeh（ئ）上，آ 则是 alef 加 madda。由于输入文本对它的写法不一致，搜索引擎和语音评分常把 alef 形式统一为 ا。

[混合检索（hybrid search）](https://broadrouter.com/zh/glossary/hybrid-search/)

混合检索是一种检索方法：对同一个查询同时运行关键词检索（如 BM25）和基于嵌入向量的向量检索，再把两份排序列表合并成一份，常用倒数排名融合（RRF）或归一化分数的加权求和。

[现代标准阿拉伯语（MSA）](https://broadrouter.com/zh/glossary/msa/)

现代标准阿拉伯语（MSA）是阿拉伯世界在书面、新闻、教育和正式讲话中使用的标准化阿拉伯语。它不是任何人日常使用的母语：人们平时说埃及阿拉伯语、海湾阿拉伯语等地区方言，在正式场合才切换到 MSA。

[重排序（reranking）](https://broadrouter.com/zh/glossary/reranking/)

重排序是检索的第二阶段：用一个更精确但更慢的模型（通常是交叉编码器），对初次检索得到的每个“查询-候选文档”对打分并重新排序，只把最相关的少数几条交给语言模型。

[阿拉伯语变音符号（tashkeel）](https://broadrouter.com/zh/glossary/arabic-diacritics/)

阿拉伯语变音符号（tashkeel）是写在字母上方或下方的小符号，用来标示短元音、辅音重叠和无元音。它们是可选的：包括新闻在内，大多数阿拉伯语文本都省略它们，读者和软件需要根据上下文推断元音。

## 常见问题

### BroadNet Inference 提供嵌入接口吗？

不提供。它文档中的接口只有对话补全和音频转写。请使用其他服务商的嵌入模型，或自己运行开源的多语言嵌入模型，生成这一步交给 BroadNet。

### ta marbuta 要规范化成 ha 吗？

做检索时通常要，因为用户两种都会输入。这会合并少数本来不同的词，但在大多数语料中，召回率的提升更划算。展示和引用时保留原文。

### 阿拉伯语分块该多大？

从一到三个段落、几百个词开始，加少量重叠。按标题和段落切分，不要在句子中间切，并让每个分块都带上文档标题。

### 哪个嵌入模型适合阿拉伯语？

用多语言模型，并用你自己的阿拉伯语查询测试。例如 BGE M3 的作者称其支持 100 多种工作语言的检索。纯英语的嵌入模型给出的阿拉伯语向量质量很差。

### 用户用英文搜索，能找到阿拉伯语文档吗？

可以。用能把两种语言映射到同一向量空间的多语言嵌入模型，或者在关键词检索前先用大模型翻译查询。要专门测试跨语言查询。

## 继续阅读

-   [长上下文还是 RAG：百万 token 什么时候能取代向量数据库](https://broadrouter.com/zh/blog/long-context-vs-rag/)
-   [阿拉伯语语音识别的词错误率（WER）详解](https://broadrouter.com/zh/blog/arabic-asr-wer-explained/)
-   [阿拉伯语提示词工程：语体、RTL、数字与中英混排](https://broadrouter.com/zh/blog/arabic-prompt-engineering/)
-   [如何选择阿拉伯语大模型 API：该测试什么](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/)
-   [用大模型给阿拉伯语加注音符号：提示词、校验与 DER](https://broadrouter.com/zh/blog/arabic-diacritization-llm/)
-   [用大模型做阿拉伯语语法和拼写纠错：实操指南](https://broadrouter.com/zh/blog/arabic-grammar-spelling-correction-llm/)
-   [指南：在 LangChain 中调用 BroadNet Inference](https://broadrouter.com/zh/guides/langchain-openai-base-url/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-arabic-rag-search&utm_content=page-cta) ·

**来源**

-   [Lewis 等，Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（arXiv 2005.11401；2026-11-14 查阅）](https://arxiv.org/abs/2005.11401)
-   [Chen 等，M3-Embedding：100 多种工作语言（arXiv 2402.03216；2026-11-14 查阅）](https://arxiv.org/abs/2402.03216)
-   [Elasticsearch 语言分析器，arabic 分析器的过滤器（2026-11-14 查阅）](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html)
-   [Unicode 阿拉伯文码表，U+0600 至 U+06FF（2026-11-14 查阅）](https://www.unicode.org/charts/PDF/U0600.pdf)
-   [BroadNet Inference API 参考，可用接口（2026-11-14 查阅）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-arabic-rag-search&utm_content=sources)
