مدرسة et مدرسه sont le même mot, « école », pour la plupart des lecteurs arabophones. Pour une comparaison de chaînes, ils sont différents. C’est la faute du tâ’ marbûta.
Comment ça marche
Le standard Unicode classe TEH MARBUTA (U+0629) parmi les caractères finaux, qui n’apparaissent qu’en fin de mot ou de morphème. Il ne se lie qu’à droite, donc uniquement à la lettre qui le précède. Sa forme est celle de HEH (U+0647) en fin de mot, plus deux points :
| Caractère | Point de code | Nom Unicode | Forme finale après ب |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
Comme les deux ne diffèrent que par deux points en fin de mot, les deux graphies apparaissent dans les textes saisis. Bouamor et al. (2018) notent que si l’arabe standard moderne a une orthographe normalisée, les dialectes n’en ont pas, et que les gens écrivent souvent les mots comme ils les prononcent. Dans les textes informels et en arabe dialectal, attendez-vous donc à un ه final là où un dictionnaire écrirait ة.
Les normaliseurs de recherche fusionnent les deux. normalize_teh_marbuta_ar de CAMeL Tools est un simple s.replace('ة', 'ه'), et l’ArabicNormalizer de Lucene cite « normalization of teh marbuta to heh » (traduction : « normalisation du teh marbuta en heh ») parmi ses règles.
Pourquoi c’est important
Rappel. Fusionner ة dans ه permet à une requête مدرسه de trouver les documents qui écrivent مدرسة, et inversement. C’est l’une des règles standard de la normalisation du texte arabe, avec l’unification de l’alif et de la hamza.
Mots fusionnés. La règle confond aussi des mots qui ne diffèrent que par cette lettre :
| Original | Sens | Après ة vers ه |
|---|---|---|
| كرة | ballon | كره |
| كره | haine | كره |
Pour la recherche, une fausse correspondance occasionnelle est généralement un prix acceptable. Pour la mise en correspondance d’entités, la correction orthographique ou les textes juridiques, conservez la distinction et comparez les originaux.
Évaluation. En évaluation de speech-to-text, une transcription qui écrit ه là où la référence a ة compte comme une erreur de mot, sauf si les deux sont normalisées de la même façon. Décidez-le avant de calculer les scores, et dites-le.
Sur BroadNet Inference
L’API de BroadNet ne normalise pas le texte. Les modèles de chat reçoivent et renvoient ة et ه exactement tels qu’ils sont écrits, et BroadNet Transcribe Arabic renvoie du texte arabe ordinaire. Appliquez la règle du ة dans votre propre code d’indexation ou d’évaluation, des deux côtés.
Si vous demandez à un modèle de chat de corriger l’orthographe, vérifiez ses modifications dans le code : l’article sur la correction orthographique en arabe montre une vérification par diff. Pour les index, l’article sur la recherche RAG en arabe et le guide de normalisation montrent où placer la règle. Vous pouvez tester la règle sur vos propres chaînes avec le normaliseur de texte arabe.