BroadRouter
Commencer

Hamza

Mis à jour

La hamza (ء) est la lettre arabe qui note le coup de glotte. Elle s’écrit seule ou sur un support : alif (أ إ), waw (ؤ) ou ya (ئ), et آ combine alif et madda. Comme le texte saisi l’écrit de façon irrégulière, les moteurs de recherche et l’évaluation de la parole ramènent souvent les formes d’alif à ا.

Aussi appelé : hamza, hamzah, formes de la hamza, normalisation de la hamza, coup de glotte arabe, hamza normalization, hamza forms

La hamza est le petit signe qui sépare le plus souvent une orthographe arabe correcte d’une orthographe courante. أحمد et احمد sont le même nom pour un lecteur, mais deux chaînes différentes pour un ordinateur.

Comment ça marche

Le standard Unicode indique que « the hamza may occur above or below other letters » (traduction : « la hamza peut apparaître au-dessus ou au-dessous d’autres lettres ») et cite alif, waw et ya comme supports. Chaque forme avec support est encodée comme un seul caractère précomposé :

Caractère Point de code Nom Unicode
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Unicode définit aussi des décompositions : أ, ؤ et ئ sont chacun canoniquement équivalents à la lettre de base suivie de U+0654 ARABIC HAMZA ABOVE. Le même أ visible peut donc arriver sous forme d’un point de code ou de deux. La normalisation Unicode en NFC ou NFKC retransforme ا + U+0654 en un seul U+0623 : c’est pourquoi elle doit passer avant toute règle sur la hamza.

Le texte saisi n’écrit pas toujours la hamza : un même mot peut donc apparaître avec أ, إ, آ ou un ا nu. C’est cette variation que vise la normalisation. normalize_alef_ar de CAMeL Tools ramène إ أ ٱ آ à ا. L’ArabicNormalizer de Lucene normalise « hamza with alef seat to a bare alef » (traduction : « la hamza sur support alif en alif nu »).

Pourquoi c’est important

  • Recherche. Un utilisateur tape اسلام et votre document contient إسلام. Sans la règle d’alif, la recherche par mots-clés le manque. Voir normalisation du texte arabe.
  • Évaluation de la reconnaissance vocale. L’Open Universal Arabic ASR Leaderboard calcule le WER après « removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas » (traduction : « suppression de toute la ponctuation et des diacritiques, et normalisation des caractères portant des hamzas et des maddas »). Si vous calculez votre propre taux d’erreur sur les mots sans cette étape, une transcription correcte qui omet une hamza compte comme fausse, et vos chiffres ne seront pas comparables à ceux du classement.
  • Le prix à payer. Ramener la hamza fusionne des mots qui ne diffèrent que par elle. Les verbes سأل (il a demandé) et سال (il a coulé) deviennent tous deux سال. Les particules إن et أن deviennent toutes deux ان. Pour la plupart des recherches, c’est acceptable ; pour la correction orthographique ou les textes juridiques, ça ne l’est pas.

Sur BroadNet Inference

L’API de BroadNet transmet le texte tel quel ; le traitement de la hamza se fait dans votre code. Les transcriptions de BroadNet Transcribe Arabic sont du texte arabe ordinaire : appliquez donc la même normalisation à votre référence et à la transcription avant de calculer le score. Envoyez language=ar, comme le conseille la documentation de BroadNet. Le guide speech-to-text en arabe contient la requête.

Pour corriger la hamza dans le texte des utilisateurs, un modèle de chat peut aider ; l’article sur la correction orthographique montre comment vérifier que seuls les caractères voulus ont changé. Pour voir l’effet de la normalisation sur vos chaînes, essayez le normaliseur de texte arabe.

Questions fréquentes

La hamza est-elle une lettre ou un signe diacritique ?

Les deux points de vue existent. Unicode encode ء (U+0621) comme une lettre, ARABIC LETTER HAMZA, et possède aussi un HAMZA ABOVE combinant (U+0654) utilisé dans les formes décomposées.

Faut-il aussi normaliser ؤ et ئ ?

Les outils courants ne le font pas par défaut. La règle d’alif de CAMeL Tools et celle de Lucene ne couvrent que les formes d’alif. Ramener aussi les supports waw et ya augmente encore le rappel, mais fusionne davantage de mots ; testez sur vos requêtes.

Un LLM corrigera-t-il les hamzas manquantes ?

Souvent, dans le cadre d’une correction orthographique, mais vérifiez qu’il n’a rien changé d’autre. N’utilisez pas la version corrigée comme clé de recherche sans la normaliser elle aussi.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity