Prima di rispondere a un utente nel suo dialetto, devi sapere in quale dialetto ha scritto. Questa è l’identificazione del dialetto.
Come funziona
La comunità di ricerca la misura con gli shared task NADI (Nuanced Arabic Dialect Identification). NADI 2020 usava tweet che coprivano 100 province in 21 paesi arabi, con un sottotask a livello di paese e uno a livello di provincia. NADI 2024 ha impostato l’identificazione del dialetto come compito multi-etichetta, dato che una frase può essere valida in diversi dialetti, e ha aggiunto un sottotask sul grado di dialettalità. Il miglior sistema del Subtask 1 ha ottenuto 50,57 di F1, e gli organizzatori scrivono che l’identificazione del dialetto resta difficile.
Il corpus MADAR (Bouamor et al., 2018) è una risorsa molto usata: le stesse frasi del dominio viaggi tradotte nei dialetti di 25 città. 2.000 frasi esistono in tutte e 25; altre 10.000 esistono per Doha, Beirut, Il Cairo, Tunisi e Rabat. Dati paralleli come questi ti fanno vedere come lo stesso significato si scrive in ogni luogo.
In pratica, la maggior parte dei prodotti ha bisogno di un’etichetta più grossolana. Un set praticabile è:
| Etichetta | Comprende |
|---|---|
msa |
Arabo standard moderno |
gulf |
Saudita, emiratino, kuwaitiano, qatariota, bahreinita, omanita |
egyptian |
Egiziano |
levantine |
Siriano, libanese, giordano, palestinese |
maghrebi |
Marocchino, algerino, tunisino, libico |
other_or_unclear |
Iracheno, yemenita, sudanese, misto o troppo breve |
Un prompt LLM per questo compito chiede un solo oggetto JSON: l’etichetta, un livello di confidenza e le parole che hanno tradito il dialetto. Per esempio, il messaggio عايز أغير الباقة tornerebbe così:
{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}
Chiedere gli indizi rende facile rivedere gli errori: se l’indizio è una parola dell’arabo standard, l’etichetta è sospetta.
Perché è importante
- Instradamento. Manda i clienti del Golfo agli operatori del Golfo, o passa al prompt di risposta nel dialetto dell’utente.
- Valutazione. Dividi i set di test di voce e chat per dialetto. Una media unica nasconde il gruppo più debole, come mostra il post sul riconoscimento vocale dei dialetti.
- Analisi. Scopri quali dialetti scrivono davvero i tuoi utenti prima di investire su uno.
I messaggi misti sono comuni. Gli utenti passano da dialetto ad arabo standard e inglese nella stessa riga, il che si chiama code-switching; tieni un’etichetta “non chiaro” invece di forzare un’ipotesi.
Su BroadNet Inference
BroadNet non ha un endpoint di identificazione del dialetto. Puoi costruirne uno su POST /v1/chat/completions. Il riferimento API di BroadNet documenta l’output strutturato per GLM 5.3 e Qwen3.8 27B, adatto a una lista fissa di etichette; vedi output strutturato. BroadNet riferisce di aver testato Qwen3.8 27B con i dialetti del Golfo ed egiziano compresi. BroadNet non pubblica l’accuratezza nell’identificazione del dialetto per nessun modello, quindi etichetta a mano un centinaio dei tuoi messaggi e misura il modello su quelli prima di affidarti a lui.
Il post sulla classificazione di testi arabi tratta prompt, liste di etichette e punteggi per questo tipo di compito, e arabo dialettale spiega cosa significano le etichette.