BroadRouter

Word error rate (WER) nell’ASR in arabo: guida pratica

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato

Il word error rate (WER) è il numero di parole sostituite, cancellate e inserite diviso per le parole della trascrizione di riferimento. Più basso è, meglio è. Il WER in arabo è difficile da confrontare perché diacritici, grafia di alef e ta marbuta e dialetti lo gonfiano. BroadNet riporta per BroadNet Transcribe Arabic un WER di 3,8 su FLEURS-ar e di 23,4 sul parlato dialettale.

Il word error rate (WER) è il numero di parole sostituite, cancellate e inserite diviso per il numero di parole della trascrizione corretta. Più basso è, meglio è. Il WER in arabo si gonfia facilmente: la stessa trascrizione corretta si può scrivere in più modi, e un confronto ingenuo conta come errore ogni scelta grafica, ogni diacritico e ogni grafia dialettale.

Questo articolo spiega cosa misura il WER, perché con l’arabo diventa scivoloso e come calcolarlo perché i tuoi numeri abbiano un senso. Per costruire il test set, vedi riconoscimento vocale dei dialetti arabi; per scegliere un fornitore, vedi la guida all’acquisto di un’API speech-to-text per l’arabo.

Cos’è il word error rate?

Il word error rate confronta una trascrizione automatica (l’ipotesi) con una trascrizione umana corretta (il riferimento). Trova il numero minimo di modifiche a livello di parola che trasformano l’una nell’altra:

  • S, sostituzioni: una parola sostituita da un’altra.
  • D, cancellazioni: una parola del riferimento che manca nell’ipotesi.
  • I, inserimenti: una parola in più nell’ipotesi.

Quindi:

WER = (S + D + I) / N, dove N è il numero di parole del riferimento.

Un WER di 0,10 (spesso scritto 10) significa circa un errore ogni dieci parole del riferimento. Più basso è, meglio è. Poiché gli inserimenti contano, il WER può superare il 100% per una trascrizione piena di parole inventate.

Il character error rate (CER) è la stessa formula applicata ai caratteri. È utile per l’arabo, dove una sola lettera sbagliata in un prefisso fa contare come sbagliata l’intera parola.

Perché il WER in arabo è difficile da confrontare?

1. Diacritici

Le vocali brevi arabe si scrivono con segni facoltativi (tashkeel) sopra e sotto le lettere: fatha, damma, kasra, sukun, shadda e tanween. Il testo di tutti i giorni li omette. Se il tuo riferimento ha “مَدْرَسَةٌ” e il modello scrive “مدرسة”, un confronto rigido conta una sostituzione, anche se qualsiasi lettore arabo vede la stessa parola.

2. Varianti grafiche

Diverse lettere hanno varianti comuni e accettate:

Variazione Esempio Normalizzazione tipica
Hamza sull’alef أحمد / احمد, إلى / الى Converti أ إ آ in ا
Ta marbuta o ha مدرسة / مدرسه Converti ة in ه
Alef maqsura o ya على / علي (nella scrittura informale) Converti ى in ي
Tanween con alef صباحاً / صباحا Togli il diacritico
Tatweel (allungamento) جـمـيـل / جميل Rimuovi ـ

3. Clitici e confini di parola

L’arabo attacca alle parole congiunzioni, preposizioni e pronomi: “وبمدرستهم” significa “e nella loro scuola” in un’unica parola scritta. Se il modello scrive “و بمدرستهم” con uno spazio, il numero di parole cambia e il WER lo penalizza due volte. Alcune valutazioni prima suddividono le parole in morfemi; la maggior parte no. Sappi quale stai leggendo.

4. Dialetti

A differenza dell’arabo standard moderno, il parlato dialettale non ha una grafia standard. Un egiziano che dice “voglio” può essere trascritto “عايز” o “عاوز”; il “cosa” di chi parla del Golfo può diventare “وش” o “ويش”. Alcuni trascrittori, poi, “correggono” il dialetto in MSA. Ognuno di questi casi è un errore di WER anche quando il significato è perfetto. È buona parte del motivo per cui il WER sul dialetto è tanto più alto di quello sul parlato letto.

5. Numeri e code-switching

Chi parla passa spesso all’inglese a metà frase (code-switching). Si scrive “٢٥”, “25” o “خمسة وعشرين”? Un marchio inglese va in caratteri latini o in lettere arabe? Decidi una convenzione, applicala al riferimento e normalizza l’ipotesi di conseguenza.

Quanto cambia il punteggio con la normalizzazione?

Riferimento: ذهبت إلى المدرسة صباحاً (“Sono andato a scuola la mattina”)

Ipotesi: ذهبت الى المدرسه صباحا

Senza normalizzazione, tre parole su quattro sono diverse (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75%. Dopo aver normalizzato entrambi i testi sono identici: WER 0%. Stessa trascrizione, stessa qualità, e il numero è passato da pessimo a perfetto. Per questo un valore di WER senza le sue regole di normalizzazione dice poco.

Come si calcola il WER in arabo con Python?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

Applica esattamente la stessa funzione a riferimenti e ipotesi, per ogni modello che confronti. Pubblicala accanto ai tuoi numeri.

Che WER riporta BroadNet per l’arabo?

BroadNet pubblica misure di laboratorio per BroadNet Transcribe Arabic nel suo catalogo modelli:

Test set Cos’è WER riportato da BroadNet
FLEURS-ar Frasi lette, audio pulito 3,8
MASC-ar Parlato arabo reale e misto 21,1
Set dialettale di BroadNet Parlato in dialetto 23,4

BroadNet riporta anche il modello al posto #2 su 37 (dato di settembre 2026; la classifica in tempo reale lo indicava #4 su 39 il 15 novembre 2026) nella Open Universal Arabic ASR Leaderboard, e al n. 1 tra i modelli la cui licenza permette di servirli tramite API. Sono dati di BroadNet, non verifiche indipendenti. La classifica applica a tutti i modelli lo stesso protocollo di valutazione, il che rende le sue posizioni più confrontabili dei numeri presi da pagine di fornitori diversi.

Guarda la forbice, non solo il numero migliore. Il salto da 3,8 a 23,4 è la distanza tra parlato letto e dialetto spontaneo per uno stesso modello, quindi testa ogni candidato su entrambi i tipi di audio. Il tuo audio, che siano linee di call center, vocali WhatsApp o riunioni, cadrà da qualche parte in quell’intervallo, e solo un test ti dice dove.

Come si misura il WER sul proprio audio?

  1. Campiona per condizione. Raggruppa le clip per dialetto e canale (telefono, vocale, studio). Il metodo per il test set dialettale tratta dimensioni del campione e convenzioni di grafia.
  2. Trascrivi con ogni candidato. Per BroadNet, invia language=ar; senza, l’arabo può tornare traslitterato in caratteri latini. La guida speech-to-text per l’arabo contiene il codice, e il credito iniziale $5 copre circa 1,190 minuti di audio.
  3. Normalizza e calcola. Usa la funzione qui sopra e riporta WER e CER per gruppo.
  4. Leggi gli errori. Ordina le sostituzioni per frequenza. Se gli errori più frequenti sono nomi, importi o codici prodotto, l’impatto sul business è maggiore di quanto dica il punteggio.

Cosa misurare oltre al WER?

Il WER tratta tutte le parole allo stesso modo, il tuo prodotto no. A un bot di assistenza interessa l’intento; a un flusso di fatturazione interessano i numeri; a un team di compliance interessano frasi precise. Affianca al WER una metrica del compito: l’accuratezza sull’intento dopo che un LLM ha letto la trascrizione, o la corrispondenza esatta sugli importi estratti. Un modello con un WER leggermente più alto può comunque vincere se i suoi errori cadono su parole che non contano.

Per i costi, inserisci le tue ore mensili di audio nel calcolatore gratuito dei costi speech-to-text e guarda come differiscono il modello per l’arabo e quello a 14 lingue in BroadNet Transcribe e Transcribe Arabic a confronto.

Domande frequenti

Qual è un buon WER per l’arabo?

Sul parlato letto e pulito si arriva a una cifra sola; BroadNet riporta 3,8 su FLEURS-ar. Sull’audio reale e in dialetto aspettati valori molto più alti; BroadNet riporta 21,1 su MASC-ar e 23,4 sul proprio set dialettale. Confronta i modelli sul tuo audio, con la stessa normalizzazione.

Devo togliere i diacritici prima di calcolare il WER in arabo?

Di solito sì. Gran parte dell’arabo si scrive senza i segni delle vocali brevi, e i modelli li aggiungono in modo incoerente. Toglili sia dal riferimento sia dall’ipotesi, a meno che il tuo prodotto non abbia bisogno di testo vocalizzato.

Cos’è il CER e quando usarlo?

Il character error rate è lo stesso calcolo fatto sui caratteri invece che sulle parole. È meno severo con l’arabo, dove una sola lettera sbagliata in un prefisso rende sbagliata tutta la parola, ed è utile insieme al WER.

Il WER può superare il 100%?

Sì. Gli inserimenti contano come errori, quindi un modello che inventa molte parole in più può fare più errori di quante parole ci siano nel riferimento.

Come si calcola il WER per l’arabo in Python?

Installa jiwer, normalizza riferimento e output del modello con la stessa funzione (togli diacritici e tatweel, unifica alef, yaa e ta marbuta, converti le cifre arabo-orientali), poi chiama jiwer.wer(references, hypotheses). Riporta la normalizzazione accanto al punteggio.

Perché il WER in arabo è più alto di quello in inglese?

In parte per una difficoltà reale (dialetti, clitici, code-switching) e in parte per il modo di calcolarlo: l’arabo ha varianti grafiche accettate e diacritici facoltativi, e un confronto rigido conta ognuna come errore. Normalizzare entrambi i testi elimina la parte dovuta al calcolo.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity