El WER pregunta cuántas palabras estaban mal. La CER pregunta cuántas letras estaban mal, y a menudo esa es la pregunta más justa para el árabe.
Cómo funciona
La CER usa la misma idea de distancia de edición que la tasa de error por palabra, aplicada a caracteres. La ficha de la métrica de Hugging Face da la fórmula:
CER = (S + D + I) / N, donde S son las sustituciones, D las eliminaciones, I las inserciones y N el número de caracteres de la referencia (N = S + D + C, con C los caracteres correctos).
Un ejemplo práctico en árabe. La referencia es «وبالكتاب» («y con el libro», una palabra de 8 letras). La transcripción es «وبلكتاب», a la que le falta un alef:
| Métrica | Errores | Unidades de referencia | Resultado |
|---|---|---|---|
| WER | 1 palabra errónea | 1 palabra | 1.0 (100 %) |
| CER | 1 letra eliminada | 8 caracteres | 0.125 (12.5 %) |
Una sola letra que falta vuelve errónea toda la palabra para el WER. La CER muestra que la transcripción era casi correcta.
En Python, el paquete jiwer la calcula con jiwer.cer(reference, hypothesis), y jiwer.process_characters devuelve además la alineación. Normalice ambos lados primero, como con el WER: puntuación, espacios y, en árabe, diacríticos y formas de alef o ya. Consulte normalización de texto árabe.
Por qué importa
- Morfología árabe. El árabe une conjunciones, preposiciones y pronombres a las palabras como clíticos, así que una palabra puede contener lo que el inglés escribe en tres o cuatro. Una sola letra de prefijo errónea cuesta una palabra completa en el WER. La CER la pondera como un carácter.
- Idiomas sin espacios. El WER necesita límites entre palabras. La ficha de Hugging Face dice que la CER es útil “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (traducción: sobre todo para conjuntos de datos multilingües en los que el WER no es adecuado dada la diversidad de idiomas).
- Tipo de error. Un modelo con WER alto pero CER baja acierta casi las palabras: deslices de ortografía, de hamza o de clíticos que la normalización o un paso de corrección pueden arreglar. Una CER alta significa que el modelo pierde palabras o contenido enteros.
- También para OCR. La misma métrica evalúa el texto leído de imágenes, así que sirve para comparar pipelines de OCR.
La ficha de la métrica también advierte que la CER no dice por qué ocurren los errores. Lea transcripciones de muestra junto con la puntuación.
En BroadNet Inference
BroadNet publica el WER, no la CER, de BroadNet Transcribe Arabic y BroadNet Transcribe. Para obtener la CER, transcriba un conjunto de prueba con sus propias grabaciones y evalúelo usted mismo. El artículo el WER en árabe explicado incluye una función de normalización y un script con jiwer que imprime el WER y la CER, y la guía de voz a texto en árabe tiene el código de la solicitud. Envíe siempre language=ar: sin él, el árabe puede volver transliterado a letras latinas, lo que arruina ambas puntuaciones.
Errores comunes
- Contar los espacios de forma incoherente. Decida si los espacios cuentan como caracteres y aplique la misma regla a cada modelo que compare.
- Comparar su CER con el WER de otra persona. Son escalas distintas. Compare lo comparable.