L’arabe permet d’écrire un même mot de plusieurs façons. Un utilisateur tape احمد ; le document porte أَحْمَد. Un index de recherche qui compare les caractères exacts manque cette correspondance, tout comme la moitié mots-clés d’une chaîne RAG. La normalisation règle cela en ramenant les variantes à une forme unique avant comparaison. Appliquée sans soin, elle fusionne aussi des mots de sens différents. Cet article avance règle par règle : ce que fait chacune, quand l’appliquer, ce qu’elle casse, et en quoi les principales bibliothèques diffèrent. Il se termine par du Python testé.
Pour la chaîne RAG arabe complète (découpage, recherche hybride, réponses sourcées), voir Un RAG arabe qui fonctionne. Cet article approfondit l’étape de normalisation.
La normalisation améliore-t-elle vraiment la recherche ?
Oui, pour la recherche par mots-clés, et les preuves sont anciennes mais nettes. Larkey, Ballesteros et Connell (SIGIR 2002) ont testé la recherche en arabe sur la collection de dépêches de TREC-2001. Avant le stemming, ils ont normalisé corpus et requêtes : suppression des diacritiques et de la ponctuation, unification des formes d’alif, et transformation de ى et ة en fin de mot. Leurs résultats monolingues, avec requêtes non étendues :
| Traitement | Précision moyenne | Variation vs brut (d’après les chiffres arrondis) |
|---|---|---|
| Texte brut | .194 | — |
| Normalisé | .238 | +22.7% |
| Normalisé + stemming léger (light8) | .376 | +93.8% |
Deux réserves. Il s’agit de recherche par mots-clés sur de la presse, en 2002, pas de recherche par embeddings. Et le gain le plus important venait du stemming léger (suppression de préfixes comme و et ال et des suffixes courants), une étape distincte de la normalisation. L’ArabicAnalyzer de Lucene et l’analyseur arabic d’Elasticsearch appliquent les deux : un normaliseur, puis un stemmer léger.
Que faut-il normaliser, et que coûte chaque règle ?
| Règle | Exemple | Index de recherche | Risque |
|---|---|---|---|
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Oui, toujours en premier | Réécrit aussi les caractères de compatibilité d’autres écritures |
| Supprimer les caractères invisibles | zero-width joiners, RLM/LRM, BOM | Oui | Aucun pour l’arabe ; le ZWNJ compte en persan |
| Retirer le tachkil | أَحْمَدُ → أحمد | Oui | Fusionne des mots distingués seulement par les voyelles |
| Supprimer le tatweel (ـ) | الـــمدينة → المدينة | Oui | Aucun |
| Unifier l’alif | أ إ آ ٱ → ا | Oui | Fusionne quelques paires : سأل (a demandé) et سال (a coulé) |
| Alif maqsoura | ى → ي | En général | Fusionne على (sur) et علي (Ali) |
| Taa marbouta | ة → ه | En général | Fusionne كتابة (écriture) et كتابه (son livre) |
| Supports de hamza | ؤ ئ → ء | Facultatif | Fusionne مسؤول et مسئول (bien) mais aussi certains mots distincts |
| Lettres persanes | ی → ي, ک → ك | Oui, si vos utilisateurs ont des claviers persans | Aucun pour un texte arabe |
| Chiffres | ٢٠٢٦ et ۲۰۲۶ → 2026 | Oui | Aucun ; gardez l’original pour l’affichage |
La colonne « Index de recherche » vaut pour la clé d’index et pour la requête. Le texte que vous stockez, affichez et passez au modèle reste tel qu’il a été écrit.
Pourquoi la normalisation Unicode doit-elle passer en premier ?
Une même lettre visible peut être stockée de plusieurs façons. أ peut être un seul point de code (U+0623) ou un alif nu suivi d’une hamza combinante (U+0627 U+0654). Les vieux PDF et certains claviers produisent des formes de présentation arabes (U+FB50 à U+FEFF), comme le lam-alif ﻻ en un seul caractère. Dans la normalisation Unicode, NFC compose la hamza sur l’alif, et NFKC déplie en plus les formes de présentation et les ligatures. En Python, unicodedata.normalize("NFKC", "ﻻ") renvoie لا, et ﷲ devient الله.
Faites-le avant tout le reste. Sinon, une expression régulière qui remplace أ rate la forme décomposée. Il y a un second piège : dediac_ar de CAMeL Tools supprime les caractères de son AR_DIAC_CHARSET (U+064B à U+0652 et U+0670). Cet ensemble omet les signes combinants de hamza et de madda (U+0653 à U+0655) : sur un texte décomposé, ils survivent donc à la suppression des diacritiques. NFKC les compose au préalable.
NFKC est une correspondance de compatibilité. Il modifie aussi des caractères hors de l’arabe, par exemple les lettres latines pleine chasse. C’est en général ce que l’on veut dans une clé de recherche, et une raison de plus de garder l’original à côté.
Que ne faut-il pas normaliser ?
- Le texte que vous affichez, citez ou référencez. L’arabe normalisé a l’air mal orthographié (المدينه). Stockez l’original à côté de la clé.
- Ce que vous envoyez au LLM. Les modèles lisent très bien hamza et tachkil, et un texte exact garde noms et citations corrects. Retirer le tachkil économise quelques tokens ; vérifiez combien avec le compteur de tokens arabe avant d’y sacrifier de la précision.
- Les textes où les signes portent du sens : Coran, hadith, poésie, livres pour enfants, tâches de prononciation et de vocalisation (voir ajouter les diacritiques avec un LLM).
- La correction orthographique ou grammaticale : normaliser d’abord efface les fautes de hamza et de taa marbouta que vous voulez corriger ; voir correction grammaticale et orthographique de l’arabe par LLM.
- Les identifiants. Codes produit, adresses e-mail, URL et texte latin ne doivent pas passer par des règles arabes. N’appliquez la normalisation qu’aux champs en écriture arabe, ou aux seuls tokens arabes.
- Les champs recherchés à l’identique. Pour les raisons sociales ou les champs de type identifiant, indexez aussi une copie brute, pour qu’une correspondance exacte puisse encore passer en tête.
En quoi CAMeL Tools, PyArabic et Lucene diffèrent-ils ?
Ils n’implémentent pas les mêmes règles, et les mélanger donne un index et des requêtes qui ne se rencontrent jamais. Nous avons lu la documentation et le code source de chaque bibliothèque, et exécuté PyArabic 0.6.15 :
| Fonction | Ce qu’elle fait réellement |
|---|---|
CAMeL normalize_unicode |
NFKC (ou NFC avec compatibility=False) ; développe aussi ﷼ en ريال et ﷽ en sa formule complète |
CAMeL normalize_alef_ar |
إ أ ٱ آ → ا |
CAMeL normalize_alef_maksura_ar |
ى → ي |
CAMeL normalize_teh_marbuta_ar |
ة → ه |
CAMeL dediac_ar |
Supprime U+064B à U+0652 et U+0670 ; laisse le tatweel |
PyArabic strip_tashkeel |
Supprime toutes les harakat, chadda comprise |
PyArabic strip_tatweel |
Supprime ـ |
PyArabic normalize_alef |
Toutes les formes d’alif et ى → ا, si bien que إلى devient الا |
PyArabic normalize_hamza |
La méthode par défaut ramène toutes les formes de hamza à ء, y compris أ, si bien que أحمد devient ءحمد |
Lucene ArabicNormalizer |
Formes d’alif à hamza → ا, ة → ه, ى → ي, supprime harakat et tatweel |
Les lignes PyArabic surprennent. La docstring de normalize_alef présente l’alif maqsoura comme une exception, mais dans la 0.6.15 l’ensemble ALEFAT inclut ى, et la fonction le ramène à ا. Son normalize_hamza est conçu pour un appariement indifférent à la hamza, pas pour la recherche en général. L’ordre compte aussi : appliquez d’abord la normalisation de l’alif, et normalize_hamza ne touche alors plus que ؤ, ئ et ء, si bien que مسؤول et مسئول deviennent tous deux مسءول. Sa méthode tasheel donne à la place مسوول et مسيول, qui ne se correspondent pas.
Le filtre arabic_normalization d’Elasticsearch utilise le normaliseur de Lucene : une chaîne Python qui doit correspondre à un index Elasticsearch doit donc reprendre exactement les règles de Lucene. Autrement dit ى → ي, pas ى → ا.
À quoi ressemble un normaliseur testé ?
Cette fonction suit les choix de Lucene, ajoute la gestion d’Unicode, des chiffres et des lettres persanes, et rend désactivables les règles risquées. Elle n’utilise que la bibliothèque standard.
import re
import unicodedata
DIACRITICS = re.compile("[ً-ٰٟ]") # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[---]") # zero-width, bidi
ALEF = re.compile("[آأإٱ]") # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"}) # ی -> ي, ک -> ك
def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
hamza_seats=False, digits=True):
text = unicodedata.normalize("NFKC", text) # compose marks, unpack ligatures
text = INVISIBLE.sub("", text)
text = DIACRITICS.sub("", text).replace("ـ", "") # tashkeel, tatweel
text = text.translate(FARSI)
if alef:
text = ALEF.sub("ا", text)
if alef_maksura:
text = text.replace("ى", "ي") # ى -> ي
if ta_marbuta:
text = text.replace("ة", "ه") # ة -> ه
if hamza_seats:
text = re.sub("[ؤئ]", "ء", text) # ؤ ئ -> ء
if digits:
text = text.translate(DIGITS)
return text
Ce qu’elle a renvoyé sur nos chaînes de test :
| Entrée | Sortie | Remarque |
|---|---|---|
| أَحْمَدُ | احمد | Tachkil et hamza supprimés |
| الـــمدينة | المدينه | Tatweel et taa marbouta |
| إلى | الي | Alif et alif maqsoura |
| ا + U+0654 + مل | امل | Hamza décomposée recomposée, puis unifiée |
| ﻻبد | لابد | Forme de présentation dépliée |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Chiffres arabes orientaux et persans |
| مسؤول / مسئول | Tous deux مسءول avec hamza_seats=True |
Inchangés par défaut |
| فارسی | فارسي | Ya persan |
Utilisez-la à deux endroits : à la construction de la clé d’index et à la lecture d’une requête. Stockez original et normalize(original) côte à côte, cherchez sur le second et renvoyez le premier. Le normaliseur de texte arabe gratuit vous permet de coller un texte et de voir l’effet de chaque règle avant de choisir vos réglages.
Comment la normalisation s’articule-t-elle avec les embeddings et le RAG ?
Une chaîne RAG a généralement deux moteurs de récupération : la recherche par mots-clés (BM25) et les embeddings. La normalisation aide clairement le côté mots-clés. Côté embeddings, les preuves ci-dessus ne s’appliquent pas : les modèles d’embeddings sont entraînés sur du texte brut, et beaucoup placent déjà احمد et أحمد tout près l’un de l’autre. Normaliser avant l’embedding peut aider, ne rien changer ou nuire. Constituez 50 à 100 vraies requêtes aux réponses connues, lancez-les avec entrée brute et entrée normalisée, et gardez la variante qui rappelle le plus. Quel que soit votre choix, appliquez-le à l’identique aux documents et aux requêtes.
La normalisation réduit aussi légèrement le nombre de tokens, car diacritiques et tatweel sont des caractères en plus pour le tokenizer. Les rapports mesurés figurent dans le jeu de données sur l’efficacité des tokenizers et dans tokens par mot en arabe. La même normalisation sert à évaluer équitablement la reconnaissance vocale ; voir le WER arabe expliqué.
L’arabizi (de l’arabe en caractères latins) demande une tout autre approche : comment les LLM gèrent l’arabizi.
Où se situe BroadNet Inference
La normalisation tourne dans votre propre code, sans API. BroadNet Inference intervient après la récupération. Il ne vend pas d’embeddings : associez un moteur de récupération et un fournisseur d’embeddings de votre choix à un modèle de chat BroadNet pour l’étape de réponse. GLM 5.3 et DeepSeek V4.1 Flash acceptent 1 048 576 tokens de contexte, vous pouvez donc passer de nombreux passages récupérés dans leur arabe original, non normalisé. Pour choisir un modèle selon sa qualité en arabe, voir choisir un LLM pour l’arabe. Si vous n’avez besoin que de recherche par mots-clés, l’analyseur arabic intégré d’Elasticsearch peut suffire.
