BroadRouter

Taux d’erreur sur les mots (WER)

Mis à jour

Le taux d’erreur sur les mots (WER) est la mesure standard de précision en reconnaissance vocale : le nombre de substitutions, suppressions et insertions de mots nécessaires pour transformer une transcription en référence correcte, divisé par le nombre de mots de la référence. Plus il est bas, mieux c’est.

Aussi appelé : WER, taux d’erreur sur les mots, taux d’erreur de mots, taux d’erreur par mot, précision de la transcription, précision de la reconnaissance vocale, word error rate, ASR accuracy, transcription accuracy, word accuracy

Le WER répond à une question : sur 100 mots prononcés, combien la transcription en a-t-elle ratés ?

Comment ça marche

On aligne la transcription du modèle sur une référence humaine correcte, puis on compte trois types d’erreur :

  • Substitutions : un mauvais mot à la place du bon ;
  • Deletions (suppressions) : un mot prononcé mais absent ;
  • Insertions : un mot non prononcé mais présent.

WER = (S + D + I) / N, où N est le nombre de mots de la référence.

Exemple. La référence est « please send the invoice to our office today » (8 mots). La transcription donne « please send an invoice to office today now » :

Erreur Nombre
« the » → « an » 1 substitution
« our » manquant 1 suppression
« now » ajouté 1 insertion

WER = 3 / 8 = 0,375, soit 37,5 %. Wikipédia note que le WER est une distance d’édition au niveau du mot et que, les insertions n’étant pas plafonnées, il « can be larger than 1.0 » (traduction : « peut être supérieur à 1,0 »).

Des outils comme le paquet Python jiwer le calculent. Normalisez d’abord les deux textes : casse, ponctuation, nombres en chiffres ou en lettres et, pour l’arabe, diacritiques et formes de l’alif ou du yaa. Les seuls choix de normalisation peuvent changer le score de façon notable.

Pourquoi c’est important

  • Comparer les modèles. Le WER est la métrique commune des classements et des annonces des fournisseurs : c’est le premier filtre pour choisir une API de speech-to-text.
  • Votre audio est différent. Un même modèle peut obtenir des scores très différents sur de la parole lue et sur des appels téléphoniques en dialecte. Pour l’arabe, l’audio en arabe standard moderne et l’audio dialectal donnent des chiffres différents. Testez sur des enregistrements proches des vôtres.
  • Toutes les erreurs ne se valent pas. Le WER donne le même poids à chaque mot. Un numéro de compte erroné compte pour une erreur, comme un « the » manquant. Lisez les transcriptions, pas seulement les scores.

Sur BroadNet Inference

BroadNet publie ses propres mesures de labo pour BroadNet Transcribe Arabic :

Jeu de test Contenu WER (%)
FLEURS-ar Phrases lues, audio propre 3,8
MASC-ar Parole arabe réelle et variée 21,1
Jeu dialectal de BroadNet Parole dialectale 23,4

L’écart entre 3,8 et 23,4 montre pourquoi votre propre test compte. BroadNet indique aussi un rang de #2 sur 37 (chiffre de septembre 2026 ; le classement en direct le plaçait #4 sur 39 le 15 novembre 2026) pour le modèle sur l’Open Universal Arabic ASR Leaderboard. Le crédit de départ de $5 couvre environ 1,190 minutes d’audio arabe, de quoi constituer un jeu de test. Le guide d’achat propose un plan de test d’une heure, et le guide pour l’arabe fournit le code.

Questions fréquentes

Qu’est-ce qu’un bon taux d’erreur sur les mots ?

Cela dépend de l’audio. De la parole lue et propre peut obtenir un score à un seul chiffre, tandis que de l’audio conversationnel bruité ou dialectal obtient souvent un score bien plus élevé avec le même modèle. Comparez les modèles sur le même jeu de test, idéalement vos propres enregistrements.

Le WER peut-il dépasser 100 % ?

Oui. Les insertions sont comptées, mais le dénominateur ne compte que les mots de référence : une transcription avec beaucoup de mots en trop peut dépasser 1,0.

Le WER s’exprime-t-il en pourcentage ou en décimal ?

Les deux sont courants. 0,211 et 21,1 veulent en général dire la même chose, environ 21 erreurs pour 100 mots de référence. Vérifiez la convention de chaque source.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity