BroadRouter
Comenzar

Tasa de error por palabra (WER)

Actualizado

La tasa de error por palabra (WER) es la medida estándar de precisión del reconocimiento de voz: el número de sustituciones, eliminaciones e inserciones de palabras necesarias para convertir una transcripción en la referencia correcta, dividido entre el número de palabras de la referencia. Cuanto más baja, mejor.

También llamado: tasa de error de palabras, índice de error de palabras, precisión de transcripción, precisión del reconocimiento de voz, WER, word error rate, ASR accuracy, transcription accuracy, word accuracy

El WER responde una sola pregunta: de cada 100 palabras que alguien dijo, ¿cuántas tiene mal la transcripción?

Cómo funciona

Alinee la transcripción del modelo con una referencia humana correcta y cuente tres tipos de error:

  • Sustituciones (substitutions): una palabra incorrecta en lugar de la correcta;
  • Deliminaciones (deletions): una palabra que se dijo pero falta;
  • Inserciones (insertions): una palabra que no se dijo pero aparece.

WER = (S + D + I) / N, donde N es el número de palabras de la referencia.

Ejemplo. La referencia es “please send the invoice to our office today” (8 palabras). La transcripción dice “please send an invoice to office today now”:

Error Cantidad
“the” → “an” 1 sustitución
falta “our” 1 eliminación
se añade “now” 1 inserción

WER = 3 / 8 = 0.375, o 37.5%. Wikipedia señala que el WER es una distancia de edición a nivel de palabra y que, como las inserciones no tienen tope, “can be larger than 1.0.” (traducción: puede ser mayor que 1.0).

Herramientas como el paquete de Python jiwer lo calculan. Normalice antes ambos textos: mayúsculas, puntuación, números escritos en cifras o en letras y, en árabe, los diacríticos y las formas de alef o yaa. Solo las decisiones de normalización pueden cambiar la puntuación de forma notable.

Por qué importa

  • Comparar modelos. El WER es la métrica común en leaderboards y en lo que afirman los proveedores, así que es el primer filtro al elegir una API de voz a texto.
  • Su audio es distinto. El mismo modelo puede dar resultados muy diferentes con habla leída y con llamadas telefónicas en dialecto. En árabe, el árabe estándar moderno y el audio en dialecto dan cifras distintas. Pruebe con grabaciones parecidas a las suyas.
  • No todos los errores pesan igual. El WER da el mismo peso a cada palabra. Un número de cuenta equivocado cuenta como un error, igual que un “the” que falta. Lea las transcripciones, no solo las puntuaciones.

En BroadNet Inference

BroadNet publica sus propias mediciones de laboratorio para BroadNet Transcribe Arabic:

Conjunto de prueba Qué es WER (%)
FLEURS-ar Frases leídas y limpias 3.8
MASC-ar Habla árabe real y variada 21.1
Conjunto de dialectos de BroadNet Habla en dialecto 23.4

La distancia entre 3.8 y 23.4 muestra por qué importa su propia prueba. BroadNet también reporta el modelo en #2 de 37 (su cifra de septiembre de 2026; el tablero en vivo lo situaba en el #4 de 39 el 15 de noviembre de 2026) en el Open Universal Arabic ASR Leaderboard. El crédito inicial de $5 cubre unos 1,190 minutos de audio en árabe, suficiente para un conjunto de prueba. La guía del comprador incluye un plan de prueba de una hora, y la guía de árabe tiene el código.

Preguntas frecuentes

¿Cuál es una buena tasa de error por palabra?

Depende del audio. El habla leída y limpia puede quedar en un dígito, mientras que el audio conversacional ruidoso o en dialecto suele dar cifras mucho más altas con el mismo modelo. Compare modelos con el mismo conjunto de prueba, idealmente sus propias grabaciones.

¿El WER puede superar el 100%?

Sí. Las inserciones se cuentan, pero el denominador son solo las palabras de la referencia, así que una transcripción con muchas palabras de más puede dar más de 1.0.

¿El WER se escribe como porcentaje o como decimal?

Ambas formas son comunes. 0.211 y 21.1 suelen significar lo mismo, unos 21 errores por cada 100 palabras de referencia. Compruebe cuál usa cada fuente.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity