Les utilisateurs arabophones tapent le même mot de plusieurs façons. La normalisation fait concorder ces graphies.
Comment ça marche
La normalisation est un ensemble de réécritures de caractères appliquées au texte stocké comme aux requêtes. L’ArabicNormalizer d’Apache Lucene, utilisé par de nombreux moteurs de recherche, énumère cinq règles :
- hamza sur support alif vers alif nu ;
- ta marbuta (ة) vers ha (ه) ;
- ya sans points, l’alif maqsura (ى), vers ya (ي) ;
- suppression des harakat (diacritiques) ;
- suppression du tatweel, le « caractère d’allongement ».
CAMeL Tools propose les mêmes idées sous forme de fonctions séparées. Sa fonction normalize_alef_ar ramène إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) à ا, normalize_alef_maksura_ar ramène ى à ي, et normalize_teh_marbuta_ar ramène ة à ه. normalize_unicode applique NFKC par défaut, c’est-à-dire la normalisation Unicode, qui doit passer en premier.
Le tatweel (U+0640, aussi appelé kashida) est un caractère de liaison que le standard Unicode décrit pour la justification : inséré entre des caractères, il allonge une ligne. Il ne porte aucun sens, donc كتـــاب et كتاب doivent concorder.
Un exemple :
| Entrée | Après normalisation | Règles appliquées |
|---|---|---|
| إِسْلامٌ | اسلام | diacritiques, alif |
| مدرسة | مدرسه | ta marbuta |
| مستشفى | مستشفي | alif maqsura |
| كتـــاب | كتاب | tatweel |
Pourquoi c’est important
Larkey, Ballesteros et Connell (2002) ont normalisé la collection de dépêches arabes de TREC-2001 en supprimant la ponctuation, les diacritiques et les caractères non alphabétiques, et en remplaçant plusieurs variantes de lettres par une seule forme. La normalisation seule a fait passer la précision moyenne monolingue de 0,194 à 0,238. Leur raciniseur light8 appliqué en plus a atteint 0,376.
Il en va de même pour :
- Le RAG et la recherche par mots-clés. Une requête tapée sans hamza doit trouver un document écrit avec. Voir la recherche RAG en arabe.
- Le taux d’erreur sur les mots. Les scores de reconnaissance vocale en arabe dépendent du fait que références et transcriptions ont été normalisées de la même manière. L’explication du WER en arabe montre l’effet.
- La déduplication et l’analytique. Compter des mots ou des termes d’utilisateurs sans normalisation éclate un mot en plusieurs.
Le prix à payer, ce sont des mots confondus. Unifier l’alif transforme les particules distinctes إن et أن en une même chaîne, et la règle ة vers ه confond كرة (ballon) et كره (haine). Traitez les règles sur la hamza et le ta marbuta comme des réglages.
Sur BroadNet Inference
La normalisation s’exécute dans votre code, pas dans l’API. Les endpoints de chat et de transcription de BroadNet prennent votre texte ou votre audio tel quel. Gardez deux copies : l’original pour le modèle et l’utilisateur, et une clé normalisée pour la correspondance.
Le normaliseur de texte arabe gratuit applique ces règles dans le navigateur pour que vous voyiez ce que chacune change. Le guide de la normalisation propose du code Python testé et une discussion règle par règle.
Erreurs fréquentes
- Normaliser les documents mais pas les requêtes, ou l’inverse.
- Afficher ou citer le texte normalisé aux utilisateurs.
- Mélanger des bibliothèques aux règles différentes, par exemple deux correspondances distinctes pour ى.