---
title: "Нормализация арабского текста для поиска и RAG | BroadRouter"
description: "Ташкиль, формы алифа, та марбута, хамза, персидские буквы, цифры и Unicode: какие правила нормализации арабского помогают поиску, какие вредят, и код на Python."
url: https://broadrouter.com/ru/blog/arabic-text-normalization-search/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/arabic-text-normalization-search/) (обновлён 2026-11-16).

# Нормализация арабского текста для поиска и RAG: что менять, а что нет

Команда BroadNet Inference · 7 мин чтения · Опубликовано 2026-11-15 · Обновлено 2026-11-16

Для поиска и индексов RAG нормализуйте и сохранённую копию, и каждый запрос одинаково: Unicode NFKC, удаление ташкиля и татвиля, единая форма алифа, ى в ي, ة в ه и конвертация цифр. Исходный текст сохраняйте для показа и для LLM. Подставки хамзы и та марбуту считайте настраиваемыми: они повышают полноту, но сливают некоторые разные слова.

## Главное

-   Нормализуйте поисковый ключ, но никогда не текст, который показываете или цитируете. Храните оригинал рядом.
-   В классическом исследовании на арабской новостной коллекции TREC-2001 одна нормализация подняла среднюю точность с 0,194 до 0,238, а лёгкий стемминг поверх неё дал 0,376.
-   Сначала выполняйте Unicode NFKC. Он собирает разложенную хамзу, распаковывает формы представления и лигатуры и делает дальнейшие правила надёжными.
-   Библиотеки расходятся. normalize\_alef в PyArabic превращает ى в ا, а CAMeL Tools — ى в ي. Выберите один набор правил и используйте его везде.
-   Для поиска по эмбеддингам проверьте нормализованный и сырой ввод на своих запросах. Правила нормализации измерялись на поиске по ключевым словам.

**На этой странице**

1.  Нормализация действительно помогает поиску?
2.  Что нормализовать и чем платить за каждое правило?
3.  Почему нормализация Unicode должна идти первой?
4.  Что не нужно нормализовать?
5.  Чем различаются CAMeL Tools, PyArabic и Lucene?
6.  Как выглядит проверенный нормализатор?
7.  Как нормализация сочетается с эмбеддингами и RAG?
8.  Где здесь BroadNet Inference

В арабском одно и то же слово можно написать по-разному. Пользователь набирает احمد, а в документе написано أَحْمَد. Поисковый индекс, сравнивающий символы точно, это совпадение пропустит, как и ключевая половина конвейера RAG. Нормализация решает проблему, приводя варианты к одной форме перед сравнением. Если делать её небрежно, она заодно сливает слова с разным смыслом. В этой статье мы идём по правилам одно за другим: что делает каждое, когда его применять, что оно ломает и чем различаются основные библиотеки. В конце — проверенный код на Python.

Полный конвейер RAG для арабского (чанкинг, гибридный поиск, ответы со ссылками) описан в статье [арабский RAG, который работает](https://broadrouter.com/ru/blog/arabic-rag-search/). Здесь мы глубже разбираем шаг нормализации.

## Нормализация действительно помогает поиску?

Да, для поиска по ключевым словам, и данные хоть и старые, но однозначные. Larkey, Ballesteros и Connell (SIGIR 2002) тестировали поиск по арабскому на новостной коллекции TREC-2001. Перед стеммингом они нормализовали корпус и запросы: удалили огласовки и пунктуацию, унифицировали формы алифа и заменили конечные ى и ة. Их одноязычные результаты на нерасширенных запросах:

| Обработка | Средняя точность | Изменение относительно сырого текста (по округлённым значениям) |
| --- | --- | --- |
| Сырой текст | 0,194 | — |
| Нормализация | 0,238 | +22,7% |
| Нормализация + лёгкий стемминг (light8) | 0,376 | +93,8% |

Две оговорки. Это поиск по ключевым словам 2002 года на новостях, а не поиск по эмбеддингам. И наибольший выигрыш дал лёгкий стемминг (удаление префиксов вроде و и ال и частых суффиксов) — отдельный от нормализации шаг. `ArabicAnalyzer` в Lucene и анализатор `arabic` в Elasticsearch применяют оба: сначала нормализатор, затем лёгкий стеммер.

## Что нормализовать и чем платить за каждое правило?

| Правило | Пример | Поисковый индекс | Риск |
| --- | --- | --- | --- |
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Да, всегда первым | Переписывает символы совместимости и в других письменностях |
| Удаление невидимых знаков | zero-width joiner, RLM/LRM, BOM | Да | Для арабского никакого; в персидском ZWNJ важен |
| Удаление ташкиля | أَحْمَدُ → أحمد | Да | Сливает слова, которые различаются только гласными |
| Удаление татвиля (ـ) | الـــمدينة → المدينة | Да | Никакого |
| Единая форма алифа | أ إ آ ٱ → ا | Да | Сливает немногие пары: سأل (спросил) и سال (потёк) |
| Алиф максура | ى → ي | Обычно | Сливает على (на) и علي (Али) |
| Та марбута | ة → ه | Обычно | Сливает كتابة (письмо, написание) и كتابه (его книга) |
| Подставки хамзы | ؤ ئ → ء | По желанию | Сливает مسؤول и مسئول (хорошо), но и некоторые разные слова |
| Персидские буквы | ی → ي, ک → ك | Да, если у пользователей персидская раскладка | Для арабского текста никакого |
| Цифры | ٢٠٢٦ и ۲۰۲۶ → 2026 | Да | Никакого; оригинал сохраняйте для показа |

Первый столбец относится к ключу индекса и запросу. Текст, который вы храните, показываете и передаёте модели, остаётся как написан.

## Почему нормализация Unicode должна идти первой?

Одна и та же видимая буква может храниться по-разному. أ может быть одной кодовой точкой (U+0623) или голым алифом с комбинируемой хамзой (U+0627 U+0654). Старые PDF и некоторые раскладки выдают арабские формы представления (U+FB50–U+FEFF), например односимвольный лам-алиф ﻻ. При [нормализации Unicode](https://unicode.org/reports/tr15/) NFC присоединяет хамзу к алифу, а NFKC ещё и распаковывает формы представления и лигатуры. В Python `unicodedata.normalize("NFKC", "ﻻ")` возвращает لا, а `ﷲ` превращается в الله.

Выполняйте это раньше всего остального. Иначе регулярное выражение, заменяющее أ, пропустит разложенную форму. Есть и вторая ловушка: `dediac_ar` в CAMeL Tools удаляет символы из своего `AR_DIAC_CHARSET` (U+064B–U+0652 и U+0670). В этот набор не входят комбинируемые знаки хамзы и мадды (U+0653–U+0655), поэтому в разложенном тексте они переживают удаление огласовок. NFKC сначала их собирает.

NFKC — это отображение совместимости. Оно меняет и символы вне арабского, например полноширинные латинские буквы. В поисковом ключе обычно так и нужно, и это ещё одна причина хранить оригинал рядом.

## Что не нужно нормализовать?

-   **Текст, который вы показываете, цитируете или на который ссылаетесь.** Нормализованный арабский выглядит как текст с ошибками (المدينه). Храните оригинал рядом с ключом.
-   **То, что вы отправляете в LLM.** Модели нормально читают хамзу и ташкиль, а точный текст сохраняет имена и цитаты верными. Удаление ташкиля экономит немного токенов; посчитайте, сколько именно, в [счётчике токенов для арабского](https://broadrouter.com/tools/arabic-token-counter/), прежде чем жертвовать ради этого точностью.
-   **Текст, где знаки несут смысл:** Коран, хадисы, поэзия, детские книги, задачи на произношение и огласовку (см. [огласовка через LLM](https://broadrouter.com/ru/blog/arabic-diacritization-llm/)).
-   **Исправление орфографии и грамматики:** нормализация до исправления стирает ошибки в хамзе и та марбуте, которые вы хотите исправить; см. [исправление арабской орфографии и грамматики через LLM](https://broadrouter.com/ru/blog/arabic-grammar-spelling-correction-llm/).
-   **Идентификаторы.** Коды продуктов, e-mail, URL и латинский текст не должны проходить через арабские правила. Применяйте нормализацию только к полям на арабской графике или только к арабским токенам.
-   **Поля, по которым ищут точно.** Для юридических названий или полей вроде идентификаторов индексируйте ещё и сырую копию, чтобы точное совпадение по-прежнему могло стоять первым.

## Чем различаются CAMeL Tools, PyArabic и Lucene?

Они реализуют разные правила, и если их смешать, индекс и запросы никогда не совпадут. Мы прочитали документацию и исходный код каждой библиотеки и запустили PyArabic 0.6.15:

| Функция | Что она делает на самом деле |
| --- | --- |
| CAMeL `normalize_unicode` | NFKC (или NFC при `compatibility=False`); также разворачивает ﷼ в ريال и ﷽ в полную фразу |
| CAMeL `normalize_alef_ar` | إ أ ٱ آ → ا |
| CAMeL `normalize_alef_maksura_ar` | ى → ي |
| CAMeL `normalize_teh_marbuta_ar` | ة → ه |
| CAMeL `dediac_ar` | Удаляет U+064B–U+0652 и U+0670; татвиль оставляет |
| PyArabic `strip_tashkeel` | Удаляет все харакаты, включая шадду |
| PyArabic `strip_tatweel` | Удаляет ـ |
| PyArabic `normalize_alef` | Все формы алифа **и ى** → ا, так что إلى становится الا |
| PyArabic `normalize_hamza` | Метод по умолчанию превращает любую форму хамзы в ء, включая أ, так что أحمد становится ءحمد |
| Lucene `ArabicNormalizer` | Формы алифа с хамзой → ا, ة → ه, ى → ي, удаляет харакаты и татвиль |

Строки PyArabic многих удивляют. В docstring `normalize_alef` сказано, что алиф максура — исключение, но в 0.6.15 набор `ALEFAT` включает ى, и функция превращает её в ا. `normalize_hamza` создана для сопоставления без учёта хамзы, а не для поиска вообще. Важен и порядок: если сначала нормализовать алиф, `normalize_hamza` затронет только ؤ, ئ и ء, и مسؤول и مسئول оба станут مسءول. Её метод `tasheel` вместо этого даёт مسوول и مسيول, которые друг с другом не совпадают.

Фильтр `arabic_normalization` в Elasticsearch использует нормализатор Lucene, поэтому конвейер на Python, который должен совпадать с индексом Elasticsearch, должен точно копировать правила Lucene. То есть ى → ي, а не ى → ا.

## Как выглядит проверенный нормализатор?

Эта функция следует решениям Lucene, добавляет обработку Unicode, цифр и персидских букв и делает рискованные правила переключаемыми. Она использует только стандартную библиотеку.

```python
import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩﻿]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text
```

Что она вернула на наших тестовых строках:

| Вход | Выход | Примечание |
| --- | --- | --- |
| أَحْمَدُ | احمد | Ташкиль и хамза убраны |
| الـــمدينة | المدينه | Татвиль и та марбута |
| إلى | الي | Алиф и алиф максура |
| ا + U+0654 + مل | امل | Разложенная хамза собрана, затем унифицирована |
| ﻻبد | لابد | Форма представления распакована |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Арабско-индийские и персидские цифры |
| مسؤول / مسئول | Оба مسءول при `hamza_seats=True` | По умолчанию без изменений |
| فارسی | فارسي | Персидская йа |

Используйте её в двух местах: при построении ключа индекса и при чтении запроса. Храните `original` и `normalize(original)` рядом, ищите по второму, возвращайте первое. Бесплатный [нормализатор арабского текста](https://broadrouter.com/tools/arabic-text-normalizer/) позволяет вставить текст и увидеть действие каждого правила, прежде чем выбрать настройки.

## Как нормализация сочетается с эмбеддингами и RAG?

В конвейере RAG обычно два ретривера: поиск по ключевым словам (BM25) и [эмбеддинги](https://broadrouter.com/ru/glossary/embeddings/). Ключевой стороне нормализация явно помогает. К стороне эмбеддингов данные выше не относятся: модели эмбеддингов обучены на сыром тексте, и многие уже помещают احمد и أحمد рядом. Нормализация перед эмбеддингом может помочь, ничего не изменить или навредить. Соберите от 50 до 100 реальных запросов с известными ответами, прогоните их с сырым и нормализованным вводом и оставьте вариант с лучшей полнотой. Что бы вы ни выбрали, применяйте это одинаково к документам и запросам.

Нормализация ещё и немного снижает число токенов, потому что огласовки и татвиль для [токенизатора](https://broadrouter.com/ru/glossary/tokenizer/) — лишние символы. Измеренные соотношения — в [датасете эффективности токенизаторов](https://broadrouter.com/data/tokenizer-efficiency/) и статье [токены на слово в арабском](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/). Та же нормализация нужна для честной оценки распознавания речи; см. [WER для арабского простыми словами](https://broadrouter.com/ru/blog/arabic-asr-wer-explained/).

Арабизи (арабский латиницей) требует совсем другого подхода: [как LLM работают с арабизи](https://broadrouter.com/ru/blog/arabizi-llm-handling/).

## Где здесь BroadNet Inference

Нормализация выполняется в вашем собственном коде, API для неё не нужен. BroadNet Inference вступает в дело после поиска. Эмбеддинги она не продаёт, поэтому сочетайте ретривер и провайдера эмбеддингов на свой выбор с чат-моделью BroadNet для шага ответа. [GLM 5.3](https://broadrouter.com/ru/models/glm-5.3/) и DeepSeek V4.1 Flash принимают контекст в 1 048 576 токенов, так что можно передать много найденных фрагментов в исходном, ненормализованном арабском. О выборе модели по качеству арабского — в статье [выбор LLM для арабского](https://broadrouter.com/ru/blog/choosing-an-llm-for-arabic/). Если нужен только поиск по ключевым словам, встроенного анализатора `arabic` в Elasticsearch может оказаться достаточно.

Бесплатные инструменты по теме (на английском)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Нормализация Unicode (Unicode normalization)](https://broadrouter.com/ru/glossary/unicode-normalization/)

Нормализация Unicode — это приведение текста к стандартной форме, чтобы одинаково выглядящие строки состояли из одних и тех же кодовых точек. Форм четыре: NFD, NFC, NFKD и NFKC; формы K вдобавок сводят символы совместимости, например арабские формы представления и лигатуры, к обычным буквам.

[RAG (генерация, дополненная поиском)](https://broadrouter.com/ru/glossary/rag/)

RAG (retrieval-augmented generation, генерация, дополненная поиском) — это подход, при котором приложение сначала находит во внешнем хранилище, например поисковом или векторном индексе, фрагменты, относящиеся к вопросу, а затем добавляет их в промпт, чтобы языковая модель отвечала по этому тексту, а не только по памяти.

[Арабские огласовки (ташкиль, tashkeel)](https://broadrouter.com/ru/glossary/arabic-diacritics/)

Арабские огласовки, или ташкиль, — это небольшие знаки над буквами или под ними, которые обозначают краткие гласные, удвоенные согласные и отсутствие гласного. Они необязательны: в большинстве арабских текстов, включая новости, их нет, и читатель или программа восстанавливает гласные по контексту.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[Нормализация арабского текста (Arabic text normalization)](https://broadrouter.com/ru/glossary/arabic-text-normalization/)

Нормализация арабского текста — это шаг, который перед сопоставлением приводит варианты написания одного слова к единой форме: удаляет огласовки и татвиль, унифицирует формы алифа и часто заменяет ى на ي и ة на ه. Её применяют к поисковым ключам и при оценке, а не к тексту, который показывают.

[BM25](https://broadrouter.com/ru/glossary/bm25/)

BM25 (Okapi BM25) — это функция ранжирования для поиска по ключевым словам, которая оценивает документ по тому, как часто в нём встречаются слова запроса, насколько эти слова редки во всей коллекции и какова длина документа. Это сходство по умолчанию в Lucene и Elasticsearch.

[Арабизи (Arabizi)](https://broadrouter.com/ru/glossary/arabizi/)

Арабизи — это неформальная запись арабского латинскими буквами, где арабские звуки без латинского аналога передаются цифрами, например 3 вместо ع. Он распространён в чатах и соцсетях, в основном диалектный, не имеет стандартной орфографии и часто перемешан с английским или французским.

[Та марбута (ة, taa marbuta)](https://broadrouter.com/ru/glossary/taa-marbuta/)

Та марбута (ة, U+0629) — это арабская буква, которая встречается только в конце слова и часто обозначает женский род существительных и прилагательных. Она выглядит как ха (ه, U+0647) с двумя точками, поэтому в набранном тексте их путают, и многие поисковые нормализаторы заменяют ة на ه.

## Вопросы и ответы

### Нужно ли удалять ташкиль (огласовки) перед индексацией арабского текста?

Для поиска — да: в большинстве запросов и большей части современного текста огласовок нет, и огласованные документы иначе не находились бы. Удаляйте их из ключа индекса и из запроса, сохраняйте исходный текст для показа и оставляйте огласовки для Корана, поэзии или задач на произношение, где они несут смысл.

### Нужно ли нормализовать та марбуту (ة) в ха (ه)?

Для поиска обычно да, потому что многие набирают ه в конце слова. Но это сливает некоторые пары, например كتابة (письмо, написание) и كتابه (его книга). Если такие совпадения важны в вашей области, оставьте ة и протестируйте оба варианта.

### Что делает нормализация арабского в Elasticsearch?

Фильтр токенов arabic\_normalization использует ArabicNormalizer из Lucene: формы алифа с хамзой — в голый алиф, та марбута — в ха, алиф максура — в йа, плюс удаление харакатов и татвиля. Встроенный анализатор arabic добавляет стоп-слова и стеммер, который убирает присоединённые артикли, союзы, предлоги и частые суффиксы.

### Помогает ли нормализация арабского поиску по эмбеддингам?

Это не установлено. Измеренный выигрыш получен на поиске по ключевым словам. Модели эмбеддингов учатся на сыром тексте и часто справляются с вариантами написания, поэтому соберите небольшой набор реальных запросов и сравните полноту с нормализацией и без неё, прежде чем принимать решение.

### Нужно ли нормализовать арабский текст перед отправкой в LLM?

Как правило, нет. Отправляйте исходный текст, чтобы цитаты, имена и ссылки оставались точными. Удаление ташкиля экономит немного токенов, но делайте это, только если задаче не нужны знаки.

## Читайте также

-   [RAG на арабском: нормализация, чанкинг и поиск, который работает](https://broadrouter.com/ru/blog/arabic-rag-search/)
-   [Токены на слово: арабский и английский — почему арабский дороже](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/)
-   [WER для арабского: что такое доля ошибок в словах в ASR](https://broadrouter.com/ru/blog/arabic-asr-wer-explained/)
-   [Арабизи и LLM: как работать с франко-арабским и цифрами 3 и 7](https://broadrouter.com/ru/blog/arabizi-llm-handling/)
-   [Как выбрать LLM API для арабского: что проверить](https://broadrouter.com/ru/blog/choosing-an-llm-for-arabic/)
-   [Извлечение именованных сущностей из арабского с LLM: JSON и даты](https://broadrouter.com/ru/blog/arabic-named-entity-extraction-llm/)
-   [Огласовки в арабском тексте через LLM: промпт, проверка, DER](https://broadrouter.com/ru/blog/arabic-diacritization-llm/)
-   [Проверка арабской орфографии и грамматики через LLM: руководство](https://broadrouter.com/ru/blog/arabic-grammar-spelling-correction-llm/)
-   [Протокол арабской встречи по записи: конвейер на API](https://broadrouter.com/ru/blog/arabic-meeting-minutes-from-recordings/)
-   [Сравнение API для OCR арабского: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/ru/blog/arabic-ocr-api-comparison/)
-   [Руководство: OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-arabic-text-normalization-search&utm_content=page-cta) ·

**Источники**

-   [Larkey, Ballesteros и Connell, Improving Stemming for Arabic Information Retrieval: Light Stemming and Co-occurrence Analysis, SIGIR 2002 (проверено 2026-11-15)](https://ciir.cs.umass.edu/pubfiles/ir-249.pdf)
-   [Документация CAMeL Tools 1.6.0, camel\_tools.utils.normalize (проверено 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Исходный код CAMeL Tools, charsets.py: AR\_DIAC\_CHARSET, который использует dediac\_ar (проверено 2026-11-15)](https://github.com/CAMeL-Lab/camel_tools/blob/master/camel_tools/utils/charsets.py)
-   [PyArabic 0.6.15 на GitHub, модуль araby (проверено 2026-11-15)](https://github.com/linuxscout/pyarabic)
-   [Документация ArabicNormalizer в Apache Lucene 9.12 (проверено 2026-11-15)](https://lucene.apache.org/core/9_12_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Фильтры токенов нормализации Elasticsearch: arabic\_normalization (проверено 2026-11-15)](https://www.elastic.co/docs/reference/text-analysis/analysis-normalization-tokenfilter)
-   [Unicode Standard Annex #15, Unicode Normalization Forms (проверено 2026-11-15)](https://unicode.org/reports/tr15/)
-   [Таблица кодов Unicode для арабского, U+0600–U+06FF (проверено 2026-11-15)](https://www.unicode.org/charts/PDF/U0600.pdf)
