La tasa de error de palabras (WER) es el número de palabras sustituidas, eliminadas e insertadas dividido entre el número de palabras de la transcripción correcta. Cuanto más baja, mejor. Es fácil inflar el WER en árabe: la misma transcripción correcta puede escribirse de varias formas, y una comparación ingenua cuenta como error cada elección ortográfica, cada diacrítico y cada grafía dialectal.
Este artículo explica qué mide el WER, por qué el árabe lo vuelve escurridizo y cómo calcularlo para que sus cifras signifiquen algo. Para construir el conjunto de prueba, vea reconocimiento de voz en dialectos árabes; para elegir proveedor, vea la guía de compra de API de voz a texto en árabe.
¿Qué es la tasa de error de palabras?
La tasa de error de palabras compara una transcripción automática (la hipótesis) con una transcripción humana correcta (la referencia). Busca el número mínimo de ediciones de palabras que convierten una en la otra:
- S, sustituciones: una palabra reemplazada por otra distinta.
- D, eliminaciones: una palabra de la referencia que falta en la hipótesis.
- I, inserciones: una palabra de más en la hipótesis.
Entonces:
WER = (S + D + I) / N, donde N es el número de palabras de la referencia.
Un WER de 0.10 (que a menudo se escribe 10) significa aproximadamente un error cada diez palabras de referencia. Cuanto más bajo, mejor. Como las inserciones cuentan, el WER puede superar el 100 % en una transcripción llena de palabras inventadas.
La tasa de error de caracteres (CER) es la misma fórmula sobre caracteres. Es útil para el árabe, donde una sola letra equivocada en un prefijo hace que toda la palabra cuente como error.
¿Por qué es difícil comparar el WER en árabe?
1. Diacríticos
Las vocales cortas del árabe se escriben como signos opcionales (tashkeel) encima y debajo de las letras: fatha, damma, kasra, sukun, shadda y tanwin. El texto cotidiano los omite. Si su referencia dice «مَدْرَسَةٌ» y el modelo escribe «مدرسة», una comparación estricta cuenta una sustitución, aunque cualquier lector de árabe ve la misma palabra.
2. Variantes ortográficas
Varias letras tienen variantes comunes y aceptadas:
| Variación | Ejemplo | Normalización habitual |
|---|---|---|
| Hamza sobre alef | أحمد / احمد, إلى / الى | Convertir أ إ آ en ا |
| Ta marbuta frente a ha | مدرسة / مدرسه | Convertir ة en ه |
| Alef maqsura frente a ya | على / علي (en escritura descuidada) | Convertir ى en ي |
| Tanwin con alef | صباحاً / صباحا | Quitar el diacrítico |
| Tatweel (alargamiento) | جـمـيـل / جميل | Eliminar ـ |
3. Clíticos y límites de palabra
El árabe une conjunciones, preposiciones y pronombres a las palabras: «وبمدرستهم» significa «y en su escuela» en una sola palabra escrita. Si el modelo escribe «و بمدرستهم» con un espacio, cambia el número de palabras y el WER lo penaliza dos veces. Algunas evaluaciones tokenizan primero las palabras en morfemas; la mayoría no. Sepa cuál está leyendo.
4. Dialectos
El habla dialectal no tiene ortografía estándar, a diferencia del árabe estándar moderno. Un hablante egipcio que dice «quiero» puede transcribirse «عايز» o «عاوز»; el «qué» de un hablante del Golfo puede ser «وش» o «ويش». Algunos transcriptores además «corrigen» el dialecto al árabe estándar. Cada uno de estos casos es un error de WER aunque el significado sea perfecto. Esa es una gran parte de la razón por la que el WER dialectal es mucho más alto que el del habla leída.
5. Números y alternancia de idiomas
Los hablantes cambian a menudo al inglés a mitad de frase (alternancia de código). ¿Es «٢٥», «25» o «خمسة وعشرين»? ¿Un nombre de marca en inglés se escribe en alfabeto latino o con letras árabes? Decida una convención, aplíquela a la referencia y normalice la hipótesis según ella.
¿Cuánto cambia la puntuación con la normalización?
Referencia: ذهبت إلى المدرسة صباحاً («Fui a la escuela por la mañana»)
Hipótesis: ذهبت الى المدرسه صباحا
Sin normalizar, tres de cuatro palabras difieren (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER del 75 %. Tras normalizar ambos textos, son idénticos: WER del 0 %. La misma transcripción, la misma calidad, y la cifra pasó de pésima a perfecta. Por eso una cifra de WER sin sus reglas de normalización dice poco.
¿Cómo se calcula el WER en árabe con Python?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
Aplique exactamente la misma función a referencias e hipótesis, para cada modelo que compare. Publíquela junto a sus cifras.
¿Qué WER reporta BroadNet para el árabe?
BroadNet publica mediciones de laboratorio de BroadNet Transcribe Arabic en su catálogo de modelos:
| Conjunto de prueba | Qué es | WER según BroadNet |
|---|---|---|
| FLEURS-ar | Frases leídas y limpias | 3.8 |
| MASC-ar | Habla árabe real y variada | 21.1 |
| Conjunto dialectal de BroadNet | Habla dialectal | 23.4 |
BroadNet también sitúa el modelo en #2 de 37 (su cifra de septiembre de 2026; el tablero en vivo lo situaba en el #4 de 39 el 15 de noviembre de 2026) en el Open Universal Arabic ASR Leaderboard, y en el n.º 1 entre los modelos cuyas licencias permiten servirlos mediante una API. Son cifras de BroadNet, no auditorías independientes. La clasificación aplica la misma configuración de evaluación a todos los modelos, lo que hace sus posiciones más comparables que las cifras de páginas de proveedores por separado.
Fíjese en el rango, no solo en la mejor cifra. El salto de 3.8 a 23.4 es la distancia entre habla leída y dialecto espontáneo para un mismo modelo, así que pruebe cada candidato con ambos tipos de audio. Su propio audio, ya sean líneas de un centro de llamadas, notas de voz de WhatsApp o reuniones, quedará en algún punto de ese rango, y solo una prueba le dirá dónde.
¿Cómo se mide el WER con su propio audio?
- Muestree por condición. Agrupe los clips por dialecto y canal (teléfono, nota de voz, estudio). El método para el conjunto de prueba dialectal trata los tamaños de muestra y las convenciones ortográficas.
- Transcriba con cada candidato. Con BroadNet, envíe
language=ar; sin él, el árabe puede volver transliterado a letras latinas. La guía de voz a texto en árabe incluye el código, y el crédito inicial de $5 cubre unos 1,190 minutos de audio. - Normalice y puntúe. Use la función anterior e informe WER y CER por grupo.
- Lea los errores. Ordene las sustituciones por frecuencia. Si los errores principales son nombres, importes o códigos de producto, el impacto en el negocio es mayor de lo que sugiere la puntuación.
¿Qué conviene medir además del WER?
El WER trata todas las palabras por igual, pero su producto no. A un bot de soporte le importa la intención; a un flujo de facturación, las cifras; a un equipo de cumplimiento, ciertas frases concretas. Añada una métrica de tarea junto al WER: precisión de la intención después de que un LLM lea la transcripción, o coincidencia exacta de los importes extraídos. Un modelo con un WER algo más alto puede ganar si sus errores recaen en palabras que no importan.
Para el costo, introduzca sus horas mensuales de audio en la calculadora de costos de voz a texto gratuita, y vea en qué se diferencian el modelo árabe y el de 14 idiomas en BroadNet Transcribe frente a Transcribe Arabic.
