Un modello può ottenere buoni punteggi nei benchmark di arabo e inciampare lo stesso su un vocale da Riyad o su un messaggio in chat da Casablanca. Quelli sono dialetti, e sono una prova diversa dall’arabo standard moderno.
Come funziona
Bouamor et al. (2018), che hanno costruito il corpus MADAR, descrivono l’arabo come “a family of varieties” (traduzione: una famiglia di varietà). L’MSA è la lingua comune di cultura, media e istruzione “from Morocco to Oman” (traduzione: dal Marocco all’Oman), ma non è la lingua madre di nessun parlante. I dialetti si raggruppano di solito per regione, come egiziano, nordafricano, levantino, del Golfo e yemenita, oppure per sottoregione, come tunisino, libanese, kuwaitiano e così via. Si differenziano dall’MSA per suoni, lessico e morfologia, e in misura minore da città a città.
Per il software contano soprattutto tre differenze:
- Suoni. L’esempio di MADAR è la lettera qaf (ق). In arabo tunisino resta /q/, vicino all’MSA; in egiziano e levantino è un colpo di glottide; nel Golfo è /g/. I modelli vocali devono ricondurre tutte e tre le pronunce alla stessa parola scritta.
- Parole. Le parole di tutti i giorni cambiano. “Voglio” è أريد in MSA, عايز in egiziano, بدي in levantino, أبي o أبغى nel Golfo e بغيت in arabo marocchino.
- Ortografia. MADAR osserva che l’MSA ha un’ortografia standard e i dialetti no. Si scrive a orecchio o secondo l’etimologia, a volte in lettere latine come l’Arabizi. I parlanti mescolano anche inglese o francese, il che si chiama code-switching.
Il dialetto, poi, si scrive sempre di più. MADAR lo definisce la lingua scritta primaria emergente della comunicazione informale online. NADI 2020 ha costruito uno shared task da tweet che coprono 100 province di 21 paesi arabi.
Perché è importante
- Chat e bot di assistenza. Gli utenti scrivono come parlano. Regole di intent, ricerca per parole chiave e modelli di sentiment addestrati sull’MSA non riconoscono le parole dialettali. Vedi i dialetti del Golfo ed egiziano con gli LLM.
- Speech-to-text. Sullo stesso modello, l’audio in dialetto ottiene risultati molto peggiori dell’MSA letto. Costruisci un set di test per ogni dialetto, come spiega l’articolo sul riconoscimento vocale dei dialetti.
- Instradamento. Se risposte, revisori o prompt cambiano per regione, etichetta prima il dialetto con l’identificazione del dialetto arabo.
Su BroadNet Inference
BroadNet elenca BroadNet Transcribe Arabic per arabo del Golfo, egiziano, levantino, maghrebino e standard moderno. BroadNet riporta un word error rate di 3,8 sul parlato letto di FLEURS-ar e di 23,4 sul proprio set di dialetti del Golfo, egiziani e levantini, entrambi misurati da BroadNet. La differenza è l’effetto del dialetto. Invia language=ar per tutti; la documentazione di BroadNet avverte che altrimenti l’arabo può tornare traslitterato in lettere latine.
Per il testo, BroadNet riporta di aver testato Qwen3.8 27B in arabo, con i dialetti del Golfo ed egiziano compresi. BroadNet non pubblica risultati per il testo levantino o maghrebino, quindi provali con i tuoi messaggi. La guida agli LLM per l’arabo confronta i modelli, e la guida allo speech-to-text in arabo contiene codice funzionante.
Errori comuni
- Testare solo su testi giornalistici in MSA e poi andare in produzione con utenti che scrivono in dialetto.
- Fare la media del WER tra i dialetti, il che nasconde quello più debole.
- Normalizzare l’ortografia dialettale verso l’MSA nel testo che mostri agli utenti.