El WER responde una sola pregunta: de cada 100 palabras que alguien dijo, ¿cuántas tiene mal la transcripción?
Cómo funciona
Alinee la transcripción del modelo con una referencia humana correcta y cuente tres tipos de error:
- Sustituciones (substitutions): una palabra incorrecta en lugar de la correcta;
- Deliminaciones (deletions): una palabra que se dijo pero falta;
- Inserciones (insertions): una palabra que no se dijo pero aparece.
WER = (S + D + I) / N, donde N es el número de palabras de la referencia.
Ejemplo. La referencia es “please send the invoice to our office today” (8 palabras). La transcripción dice “please send an invoice to office today now”:
| Error | Cantidad |
|---|---|
| “the” → “an” | 1 sustitución |
| falta “our” | 1 eliminación |
| se añade “now” | 1 inserción |
WER = 3 / 8 = 0.375, o 37.5%. Wikipedia señala que el WER es una distancia de edición a nivel de palabra y que, como las inserciones no tienen tope, “can be larger than 1.0.” (traducción: puede ser mayor que 1.0).
Herramientas como el paquete de Python jiwer lo calculan. Normalice antes ambos textos: mayúsculas, puntuación, números escritos en cifras o en letras y, en árabe, los diacríticos y las formas de alef o yaa. Solo las decisiones de normalización pueden cambiar la puntuación de forma notable.
Por qué importa
- Comparar modelos. El WER es la métrica común en leaderboards y en lo que afirman los proveedores, así que es el primer filtro al elegir una API de voz a texto.
- Su audio es distinto. El mismo modelo puede dar resultados muy diferentes con habla leída y con llamadas telefónicas en dialecto. En árabe, el árabe estándar moderno y el audio en dialecto dan cifras distintas. Pruebe con grabaciones parecidas a las suyas.
- No todos los errores pesan igual. El WER da el mismo peso a cada palabra. Un número de cuenta equivocado cuenta como un error, igual que un “the” que falta. Lea las transcripciones, no solo las puntuaciones.
En BroadNet Inference
BroadNet publica sus propias mediciones de laboratorio para BroadNet Transcribe Arabic:
| Conjunto de prueba | Qué es | WER (%) |
|---|---|---|
| FLEURS-ar | Frases leídas y limpias | 3.8 |
| MASC-ar | Habla árabe real y variada | 21.1 |
| Conjunto de dialectos de BroadNet | Habla en dialecto | 23.4 |
La distancia entre 3.8 y 23.4 muestra por qué importa su propia prueba. BroadNet también reporta el modelo en #2 de 37 (su cifra de septiembre de 2026; el tablero en vivo lo situaba en el #4 de 39 el 15 de noviembre de 2026) en el Open Universal Arabic ASR Leaderboard. El crédito inicial de $5 cubre unos 1,190 minutos de audio en árabe, suficiente para un conjunto de prueba. La guía del comprador incluye un plan de prueba de una hora, y la guía de árabe tiene el código.