BroadRouter

Taux d’erreur de mots (WER) en reconnaissance vocale arabe

Par l’équipe BroadNet Inference · 5 min de lecture · Publié

Le taux d’erreur de mots (WER) est le nombre de mots substitués, supprimés et insérés, divisé par le nombre de mots de la transcription de référence. Plus il est bas, mieux c’est. Le WER arabe est difficile à comparer, car diacritiques, graphies de l’alef et du ta marbuta et dialectes le gonflent. BroadNet annonce pour BroadNet Transcribe Arabic un WER de 3,8 sur FLEURS-ar et de 23,4 en dialecte.

Le taux d’erreur de mots (WER, word error rate) est le nombre de mots substitués, supprimés et insérés, divisé par le nombre de mots de la transcription correcte. Plus il est bas, mieux c’est. Le WER arabe se gonfle facilement : une même transcription correcte peut s’écrire de plusieurs façons, et une comparaison naïve compte chaque choix orthographique, chaque diacritique et chaque graphie dialectale comme une faute.

Cet article explique ce que mesure le WER, pourquoi l’arabe le rend glissant et comment le calculer pour que vos chiffres aient un sens. Pour construire le jeu de test lui-même, voyez la reconnaissance vocale des dialectes arabes ; pour choisir un fournisseur, voyez le guide d’achat des API speech-to-text arabes.

Qu’est-ce que le taux d’erreur de mots ?

Le taux d’erreur de mots compare une transcription automatique (l’hypothèse) à une transcription humaine correcte (la référence). Il cherche le nombre minimal de modifications de mots qui transforment l’une en l’autre :

  • S, substitutions : un mot remplacé par un autre.
  • D, suppressions (deletions) : un mot de la référence absent de l’hypothèse.
  • I, insertions : un mot en trop dans l’hypothèse.

Puis :

WER = (S + D + I) / N, où N est le nombre de mots de la référence.

Un WER de 0,10 (souvent écrit 10) signifie environ une erreur pour dix mots de référence. Plus il est bas, mieux c’est. Comme les insertions comptent, le WER peut dépasser 100 % pour une transcription pleine de mots inventés.

Le taux d’erreur de caractères (CER, character error rate) est la même formule appliquée aux caractères. Il est utile en arabe, où une seule lettre fausse dans un préfixe fait compter tout le mot comme faux.

Pourquoi le WER arabe est-il difficile à comparer ?

1. Les diacritiques

Les voyelles brèves arabes s’écrivent sous forme de signes facultatifs (tashkil) au-dessus et au-dessous des lettres : fatha, damma, kasra, soukoun, chadda et tanwin. Le texte courant les omet. Si votre référence contient « مَدْرَسَةٌ » et que le modèle écrit « مدرسة », une comparaison stricte compte une substitution, alors que tout lecteur arabe voit le même mot.

2. Les variantes orthographiques

Plusieurs lettres ont des variantes courantes et admises :

Variation Exemple Normalisation habituelle
Hamza sur l’alef أحمد / احمد, إلى / الى Ramener أ إ آ à ا
Ta marbuta ou ha مدرسة / مدرسه Ramener ة à ه
Alef maqsura ou ya على / علي (en écriture relâchée) Ramener ى à ي
Tanwin avec alef صباحاً / صباحا Retirer le diacritique
Tatweel (allongement) جـمـيـل / جميل Supprimer ـ

3. Clitiques et frontières de mots

L’arabe attache conjonctions, prépositions et pronoms aux mots : « وبمدرستهم » signifie « et dans leur école » en un seul mot écrit. Si le modèle écrit « و بمدرستهم » avec une espace, le nombre de mots change et le WER le pénalise deux fois. Certaines évaluations découpent d’abord les mots en morphèmes ; la plupart non. Sachez lequel des deux vous lisez.

4. Les dialectes

Contrairement à l’arabe standard moderne, la parole dialectale n’a pas d’orthographe standard. Un locuteur égyptien qui dit « je veux » peut être transcrit « عايز » ou « عاوز » ; le « quoi » d’un locuteur du Golfe peut devenir « وش » ou « ويش ». Certains transcripteurs « corrigent » aussi le dialecte en MSA. Chacun de ces cas est une erreur de WER, même quand le sens est parfait. C’est une grande partie de la raison pour laquelle le WER en dialecte est tellement plus élevé que sur la parole lue.

5. Nombres et alternance codique

Les locuteurs passent souvent à l’anglais en milieu de phrase (alternance codique). Faut-il écrire « ٢٥ », « 25 » ou « خمسة وعشرين » ? Une marque anglaise s’écrit-elle en alphabet latin ou en lettres arabes ? Fixez une convention, appliquez-la à la référence et normalisez l’hypothèse en conséquence.

Combien la normalisation change-t-elle le score ?

Référence : ذهبت إلى المدرسة صباحاً (« Je suis allé à l’école le matin »)

Hypothèse : ذهبت الى المدرسه صباحا

Sans normalisation, trois mots sur quatre diffèrent (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا) : WER 75 %. Une fois les deux textes normalisés, ils sont identiques : WER 0 %. Même transcription, même qualité, et le chiffre passe de catastrophique à parfait. Voilà pourquoi un WER sans ses règles de normalisation en dit peu.

Comment calculer le WER arabe en Python ?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

Appliquez exactement la même fonction aux références et aux hypothèses, pour chaque modèle comparé. Publiez-la à côté de vos chiffres.

Quel WER BroadNet annonce-t-il pour l’arabe ?

BroadNet publie des mesures de laboratoire pour BroadNet Transcribe Arabic dans son catalogue de modèles :

Jeu de test Nature WER annoncé par BroadNet
FLEURS-ar Phrases lues, enregistrement propre 3,8
MASC-ar Parole arabe réelle et variée 21,1
Jeu de dialectes de BroadNet Parole dialectale 23,4

BroadNet place aussi le modèle à #2 sur 37 (chiffre de septembre 2026 ; le classement en direct le plaçait #4 sur 39 le 15 novembre 2026) sur l’Open Universal Arabic ASR Leaderboard, et n° 1 parmi les modèles dont la licence autorise un service par API. Ce sont les chiffres de BroadNet, pas des audits indépendants. Le classement applique la même configuration d’évaluation à chaque modèle, ce qui rend ses rangs plus comparables que des chiffres tirés de pages de fournisseurs distinctes.

Lisez l’écart, pas seulement le meilleur chiffre. Le passage de 3,8 à 23,4 est, pour un seul et même modèle, la distance entre parole lue et dialecte spontané : testez donc chaque candidat sur les deux types d’audio. Votre propre audio, qu’il s’agisse de lignes de centre d’appels, de messages vocaux WhatsApp ou de réunions, se situera quelque part dans cette plage, et seul un test vous dira où.

Comment mesurer le WER sur votre propre audio ?

  1. Échantillonner par condition. Regroupez les extraits par dialecte et par canal (téléphone, message vocal, studio). La méthode de jeu de test dialectal traite des tailles d’échantillon et des conventions d’orthographe.
  2. Transcrire avec chaque candidat. Chez BroadNet, envoyez language=ar ; sans ce paramètre, l’arabe peut revenir translittéré en lettres latines. Le guide speech-to-text arabe contient le code, et le crédit de départ de $5 couvre environ 1,190 minutes d’audio.
  3. Normaliser et noter. Utilisez la fonction ci-dessus, et indiquez WER et CER par groupe.
  4. Lire les erreurs. Triez les substitutions par fréquence. Si les erreurs les plus fréquentes portent sur des noms, des montants ou des codes produit, l’impact métier est plus grand que ne le suggère le score.

Que mesurer en plus du WER ?

Le WER traite tous les mots de la même façon, votre produit non. Un bot de support s’intéresse à l’intention ; un flux de facturation, aux nombres ; une équipe conformité, à certaines formulations. Ajoutez une métrique de tâche à côté du WER : la précision de l’intention après lecture de la transcription par un LLM, ou la correspondance exacte des montants extraits. Un modèle au WER un peu plus élevé peut tout de même l’emporter si ses erreurs tombent sur des mots sans importance.

Côté coûts, saisissez vos heures d’audio mensuelles dans le calculateur de coût speech-to-text gratuit, et voyez en quoi le modèle arabe et le modèle à 14 langues diffèrent dans BroadNet Transcribe vs Transcribe Arabic.

Questions fréquentes

Qu’est-ce qu’un bon WER en arabe ?

Sur de la parole lue et propre, un résultat à un chiffre est atteignable ; BroadNet annonce 3,8 sur FLEURS-ar. Sur de l’audio réel et en dialecte, attendez-vous à des valeurs bien plus élevées ; BroadNet annonce 21,1 sur MASC-ar et 23,4 sur son jeu de dialectes. Comparez les modèles sur votre propre audio, avec la même normalisation.

Faut-il retirer les diacritiques avant de calculer le WER arabe ?

En général, oui. L’arabe s’écrit le plus souvent sans signes de voyelles brèves, et les modèles les ajoutent de façon irrégulière. Retirez-les de la référence et de l’hypothèse, sauf si votre produit a besoin d’un texte vocalisé.

Qu’est-ce que le CER et quand l’utiliser ?

Le taux d’erreur de caractères est le même calcul, appliqué aux caractères plutôt qu’aux mots. Il est moins sévère pour l’arabe, où une seule lettre de préfixe erronée rend tout le mot faux, et complète utilement le WER.

Le WER peut-il dépasser 100 % ?

Oui. Les insertions comptent comme des erreurs : un modèle qui invente beaucoup de mots en trop peut faire plus d’erreurs que la référence ne compte de mots.

Comment calculer le WER pour l’arabe en Python ?

Installez jiwer, normalisez la référence et la sortie du modèle avec la même fonction (retirer diacritiques et tatweel, unifier alef, ya et ta marbuta, convertir les chiffres arabes orientaux), puis appelez jiwer.wer(references, hypotheses). Indiquez la normalisation à côté du score.

Pourquoi le WER arabe est-il plus élevé que le WER anglais ?

En partie à cause d’une vraie difficulté (dialectes, clitiques, alternance codique), en partie à cause de la notation : l’arabe admet des variantes orthographiques et des diacritiques facultatifs, et une comparaison stricte compte chacun comme une erreur. Normaliser les deux textes supprime la part due à la notation.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity