Le WER répond à une question : sur 100 mots prononcés, combien la transcription en a-t-elle ratés ?
Comment ça marche
On aligne la transcription du modèle sur une référence humaine correcte, puis on compte trois types d’erreur :
- Substitutions : un mauvais mot à la place du bon ;
- Deletions (suppressions) : un mot prononcé mais absent ;
- Insertions : un mot non prononcé mais présent.
WER = (S + D + I) / N, où N est le nombre de mots de la référence.
Exemple. La référence est « please send the invoice to our office today » (8 mots). La transcription donne « please send an invoice to office today now » :
| Erreur | Nombre |
|---|---|
| « the » → « an » | 1 substitution |
| « our » manquant | 1 suppression |
| « now » ajouté | 1 insertion |
WER = 3 / 8 = 0,375, soit 37,5 %. Wikipédia note que le WER est une distance d’édition au niveau du mot et que, les insertions n’étant pas plafonnées, il « can be larger than 1.0 » (traduction : « peut être supérieur à 1,0 »).
Des outils comme le paquet Python jiwer le calculent. Normalisez d’abord les deux textes : casse, ponctuation, nombres en chiffres ou en lettres et, pour l’arabe, diacritiques et formes de l’alif ou du yaa. Les seuls choix de normalisation peuvent changer le score de façon notable.
Pourquoi c’est important
- Comparer les modèles. Le WER est la métrique commune des classements et des annonces des fournisseurs : c’est le premier filtre pour choisir une API de speech-to-text.
- Votre audio est différent. Un même modèle peut obtenir des scores très différents sur de la parole lue et sur des appels téléphoniques en dialecte. Pour l’arabe, l’audio en arabe standard moderne et l’audio dialectal donnent des chiffres différents. Testez sur des enregistrements proches des vôtres.
- Toutes les erreurs ne se valent pas. Le WER donne le même poids à chaque mot. Un numéro de compte erroné compte pour une erreur, comme un « the » manquant. Lisez les transcriptions, pas seulement les scores.
Sur BroadNet Inference
BroadNet publie ses propres mesures de labo pour BroadNet Transcribe Arabic :
| Jeu de test | Contenu | WER (%) |
|---|---|---|
| FLEURS-ar | Phrases lues, audio propre | 3,8 |
| MASC-ar | Parole arabe réelle et variée | 21,1 |
| Jeu dialectal de BroadNet | Parole dialectale | 23,4 |
L’écart entre 3,8 et 23,4 montre pourquoi votre propre test compte. BroadNet indique aussi un rang de #2 sur 37 (chiffre de septembre 2026 ; le classement en direct le plaçait #4 sur 39 le 15 novembre 2026) pour le modèle sur l’Open Universal Arabic ASR Leaderboard. Le crédit de départ de $5 couvre environ 1,190 minutes d’audio arabe, de quoi constituer un jeu de test. Le guide d’achat propose un plan de test d’une heure, et le guide pour l’arabe fournit le code.