BroadRouter

Tasa de error de palabras (WER) en el reconocimiento de voz en árabe

Por el equipo de BroadNet Inference · 5 min de lectura · Publicado

La tasa de error de palabras (WER) es el número de palabras sustituidas, eliminadas e insertadas dividido entre las palabras de la transcripción de referencia. Cuanto más baja, mejor. El WER en árabe es difícil de comparar porque los diacríticos, la ortografía del alef y la ta marbuta y los dialectos lo inflan. BroadNet reporta 3.8 de WER en FLEURS-ar y 23.4 en habla dialectal para BroadNet Transcribe Arabic.

La tasa de error de palabras (WER) es el número de palabras sustituidas, eliminadas e insertadas dividido entre el número de palabras de la transcripción correcta. Cuanto más baja, mejor. Es fácil inflar el WER en árabe: la misma transcripción correcta puede escribirse de varias formas, y una comparación ingenua cuenta como error cada elección ortográfica, cada diacrítico y cada grafía dialectal.

Este artículo explica qué mide el WER, por qué el árabe lo vuelve escurridizo y cómo calcularlo para que sus cifras signifiquen algo. Para construir el conjunto de prueba, vea reconocimiento de voz en dialectos árabes; para elegir proveedor, vea la guía de compra de API de voz a texto en árabe.

¿Qué es la tasa de error de palabras?

La tasa de error de palabras compara una transcripción automática (la hipótesis) con una transcripción humana correcta (la referencia). Busca el número mínimo de ediciones de palabras que convierten una en la otra:

  • S, sustituciones: una palabra reemplazada por otra distinta.
  • D, eliminaciones: una palabra de la referencia que falta en la hipótesis.
  • I, inserciones: una palabra de más en la hipótesis.

Entonces:

WER = (S + D + I) / N, donde N es el número de palabras de la referencia.

Un WER de 0.10 (que a menudo se escribe 10) significa aproximadamente un error cada diez palabras de referencia. Cuanto más bajo, mejor. Como las inserciones cuentan, el WER puede superar el 100 % en una transcripción llena de palabras inventadas.

La tasa de error de caracteres (CER) es la misma fórmula sobre caracteres. Es útil para el árabe, donde una sola letra equivocada en un prefijo hace que toda la palabra cuente como error.

¿Por qué es difícil comparar el WER en árabe?

1. Diacríticos

Las vocales cortas del árabe se escriben como signos opcionales (tashkeel) encima y debajo de las letras: fatha, damma, kasra, sukun, shadda y tanwin. El texto cotidiano los omite. Si su referencia dice «مَدْرَسَةٌ» y el modelo escribe «مدرسة», una comparación estricta cuenta una sustitución, aunque cualquier lector de árabe ve la misma palabra.

2. Variantes ortográficas

Varias letras tienen variantes comunes y aceptadas:

Variación Ejemplo Normalización habitual
Hamza sobre alef أحمد / احمد, إلى / الى Convertir أ إ آ en ا
Ta marbuta frente a ha مدرسة / مدرسه Convertir ة en ه
Alef maqsura frente a ya على / علي (en escritura descuidada) Convertir ى en ي
Tanwin con alef صباحاً / صباحا Quitar el diacrítico
Tatweel (alargamiento) جـمـيـل / جميل Eliminar ـ

3. Clíticos y límites de palabra

El árabe une conjunciones, preposiciones y pronombres a las palabras: «وبمدرستهم» significa «y en su escuela» en una sola palabra escrita. Si el modelo escribe «و بمدرستهم» con un espacio, cambia el número de palabras y el WER lo penaliza dos veces. Algunas evaluaciones tokenizan primero las palabras en morfemas; la mayoría no. Sepa cuál está leyendo.

4. Dialectos

El habla dialectal no tiene ortografía estándar, a diferencia del árabe estándar moderno. Un hablante egipcio que dice «quiero» puede transcribirse «عايز» o «عاوز»; el «qué» de un hablante del Golfo puede ser «وش» o «ويش». Algunos transcriptores además «corrigen» el dialecto al árabe estándar. Cada uno de estos casos es un error de WER aunque el significado sea perfecto. Esa es una gran parte de la razón por la que el WER dialectal es mucho más alto que el del habla leída.

5. Números y alternancia de idiomas

Los hablantes cambian a menudo al inglés a mitad de frase (alternancia de código). ¿Es «٢٥», «25» o «خمسة وعشرين»? ¿Un nombre de marca en inglés se escribe en alfabeto latino o con letras árabes? Decida una convención, aplíquela a la referencia y normalice la hipótesis según ella.

¿Cuánto cambia la puntuación con la normalización?

Referencia: ذهبت إلى المدرسة صباحاً («Fui a la escuela por la mañana»)

Hipótesis: ذهبت الى المدرسه صباحا

Sin normalizar, tres de cuatro palabras difieren (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER del 75 %. Tras normalizar ambos textos, son idénticos: WER del 0 %. La misma transcripción, la misma calidad, y la cifra pasó de pésima a perfecta. Por eso una cifra de WER sin sus reglas de normalización dice poco.

¿Cómo se calcula el WER en árabe con Python?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

Aplique exactamente la misma función a referencias e hipótesis, para cada modelo que compare. Publíquela junto a sus cifras.

¿Qué WER reporta BroadNet para el árabe?

BroadNet publica mediciones de laboratorio de BroadNet Transcribe Arabic en su catálogo de modelos:

Conjunto de prueba Qué es WER según BroadNet
FLEURS-ar Frases leídas y limpias 3.8
MASC-ar Habla árabe real y variada 21.1
Conjunto dialectal de BroadNet Habla dialectal 23.4

BroadNet también sitúa el modelo en #2 de 37 (su cifra de septiembre de 2026; el tablero en vivo lo situaba en el #4 de 39 el 15 de noviembre de 2026) en el Open Universal Arabic ASR Leaderboard, y en el n.º 1 entre los modelos cuyas licencias permiten servirlos mediante una API. Son cifras de BroadNet, no auditorías independientes. La clasificación aplica la misma configuración de evaluación a todos los modelos, lo que hace sus posiciones más comparables que las cifras de páginas de proveedores por separado.

Fíjese en el rango, no solo en la mejor cifra. El salto de 3.8 a 23.4 es la distancia entre habla leída y dialecto espontáneo para un mismo modelo, así que pruebe cada candidato con ambos tipos de audio. Su propio audio, ya sean líneas de un centro de llamadas, notas de voz de WhatsApp o reuniones, quedará en algún punto de ese rango, y solo una prueba le dirá dónde.

¿Cómo se mide el WER con su propio audio?

  1. Muestree por condición. Agrupe los clips por dialecto y canal (teléfono, nota de voz, estudio). El método para el conjunto de prueba dialectal trata los tamaños de muestra y las convenciones ortográficas.
  2. Transcriba con cada candidato. Con BroadNet, envíe language=ar; sin él, el árabe puede volver transliterado a letras latinas. La guía de voz a texto en árabe incluye el código, y el crédito inicial de $5 cubre unos 1,190 minutos de audio.
  3. Normalice y puntúe. Use la función anterior e informe WER y CER por grupo.
  4. Lea los errores. Ordene las sustituciones por frecuencia. Si los errores principales son nombres, importes o códigos de producto, el impacto en el negocio es mayor de lo que sugiere la puntuación.

¿Qué conviene medir además del WER?

El WER trata todas las palabras por igual, pero su producto no. A un bot de soporte le importa la intención; a un flujo de facturación, las cifras; a un equipo de cumplimiento, ciertas frases concretas. Añada una métrica de tarea junto al WER: precisión de la intención después de que un LLM lea la transcripción, o coincidencia exacta de los importes extraídos. Un modelo con un WER algo más alto puede ganar si sus errores recaen en palabras que no importan.

Para el costo, introduzca sus horas mensuales de audio en la calculadora de costos de voz a texto gratuita, y vea en qué se diferencian el modelo árabe y el de 14 idiomas en BroadNet Transcribe frente a Transcribe Arabic.

Preguntas frecuentes

¿Qué es un buen WER en árabe?

Con habla leída y limpia se pueden lograr cifras de un dígito; BroadNet reporta 3.8 en FLEURS-ar. Con audio real y dialectal, espere cifras mucho más altas; BroadNet reporta 21.1 en MASC-ar y 23.4 en su conjunto dialectal. Compare modelos con su propio audio y la misma normalización.

¿Debo quitar los diacríticos antes de calcular el WER en árabe?

Normalmente sí. La mayor parte del árabe se escribe sin signos de vocales cortas, y los modelos los añaden de forma inconsistente. Quítelos de la referencia y de la hipótesis, salvo que su producto necesite texto vocalizado.

¿Qué es el CER y cuándo debo usarlo?

La tasa de error de caracteres es el mismo cálculo sobre caracteres en lugar de palabras. Es menos severa con el árabe, donde una sola letra equivocada en un prefijo invalida toda la palabra, y resulta útil junto al WER.

¿Puede el WER superar el 100 %?

Sí. Las inserciones cuentan como errores, así que un modelo que inventa muchas palabras de más puede cometer más errores que palabras tiene la referencia.

¿Cómo calculo el WER para árabe en Python?

Instale jiwer, normalice la referencia y la salida del modelo con la misma función (quite diacríticos y tatweel, unifique alef, yaa y ta marbuta, convierta los dígitos arábigo-orientales) y llame a jiwer.wer(references, hypotheses). Indique la normalización junto a la puntuación.

¿Por qué el WER en árabe es más alto que en inglés?

En parte por dificultad real (dialectos, clíticos, alternancia de idiomas) y en parte por la forma de puntuar: el árabe tiene variantes ortográficas aceptadas y diacríticos opcionales, y una comparación estricta cuenta cada una como error. Normalizar ambos textos elimina la parte de puntuación.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity