Les trois mêmes lettres arabes peuvent signifier « il a écrit », « des livres » ou « il a été écrit ». Ce sont les diacritiques qui les distinguent, et la plupart des textes s’en passent.
Comment ça marche
Le standard Unicode appelle ces signes tashkil et indique qu’ils « may be written as combining marks » (traduction : « peuvent s’écrire comme des signes combinatoires »), avant d’ajouter : « In normal writing, however, these marks are omitted. » (traduction : « Dans l’écriture courante, toutefois, ces signes sont omis. ») Les harakat désignent le sous-ensemble des voyelles brèves. Chaque signe est un caractère combinatoire distinct qui suit la lettre qu’il surmonte. Les principaux se trouvent dans la plage U+064B à U+0652 :
| Point de code | Nom | Rôle |
|---|---|---|
| U+064E | FATHA | a bref |
| U+064F | DAMMA | u bref |
| U+0650 | KASRA | i bref |
| U+064B à U+064D | FATHATAN, DAMMATAN, KASRATAN | tanwin (terminaisons -an, -un, -in) |
| U+0651 | SHADDA | consonne doublée |
| U+0652 | SUKUN | absence de voyelle |
Un exemple avec le mot nu كتب :
- كَتَبَ (kataba), « il a écrit »
- كُتُب (kutub), « des livres »
- كُتِبَ (kutiba), « il a été écrit »
Sans signes, les trois sont la même chaîne. Un lecteur choisit le sens d’après la phrase. Un logiciel doit faire de même : c’est le rôle d’un diacritiseur. Zerrouki et Balla (2017) ont constitué le corpus Tashkeela, environ 75,6 millions de mots, surtout en arabe classique, parce que les textes entièrement vocalisés sont rares et que les diacritiseurs en ont besoin pour l’entraînement. Fadel et al. (2019) présentent des modèles neuronaux de diacritisation qui égalent ou dépassent les travaux antérieurs sur un benchmark public, et montrent que les diacritiques peuvent aider la traduction automatique.
Les bibliothèques traitent ces signes comme un ensemble. AR_DIAC_CHARSET dans CAMeL Tools couvre U+064B à U+0652, plus U+0670 (alif suscrit), et la fonction dediac_ar les supprime.
Pourquoi c’est important
- Recherche et correspondance. Le même mot tapé avec et sans signes forme deux chaînes différentes. Retirez-les de la clé de recherche dans le cadre de la normalisation du texte arabe, sinon les correspondances exactes échouent.
- Tokens. Chaque signe est un caractère de plus pour le tokenizer. Un texte entièrement vocalisé consomme nettement plus de tokens qu’un texte nu ; voir le guide de la diacritisation pour les ratios mesurés et les tokens par mot en arabe pour la référence.
- Parole et évaluation. Les transcriptions reviennent généralement sans signes. Calculez le taux d’erreur sur les mots après avoir retiré les diacritiques des deux textes, sinon un mot correct avec une fatha en trop compte comme une erreur.
- Quand ils sont nécessaires. Synthèse vocale, enseignement de la langue, textes coraniques et poétiques, et noms ambigus sans voyelles.
Sur BroadNet Inference
BroadNet n’a pas d’endpoint de diacritisation. Les modèles de chat reçoivent le tashkeel comme du texte ordinaire via POST /v1/chat/completions : vous pouvez donc demander à un modèle comme Qwen3.8 27B d’ajouter ou de retirer les signes. La méthode sûre consiste à vérifier la réponse dans le code : retirez les diacritiques et comparez avec votre entrée, lettre par lettre. L’article sur la diacritisation par LLM donne le prompt et la vérification.
Pour la suppression, n’utilisez pas de modèle du tout. Une courte expression régulière sur U+064B à U+0652 est plus rapide, gratuite et exacte. Le normaliseur de texte arabe montre l’effet dans le navigateur.