Antes de responder a un usuario en su dialecto, hay que saber en qué dialecto escribió. Eso es la identificación de dialectos.
Cómo funciona
La comunidad investigadora mide esta tarea con las tareas compartidas NADI (Nuanced Arabic Dialect Identification). NADI 2020 usó tuits de 100 provincias de 21 países árabes, con una subtarea a nivel de país y otra a nivel de provincia. NADI 2024 planteó la identificación de dialectos como una tarea multietiqueta, ya que una misma frase puede ser válida en varios dialectos, y añadió una subtarea sobre el grado de dialectalidad. El mejor sistema de la Subtarea 1 obtuvo 50.57 de F1, y los organizadores escriben que la identificación de dialectos sigue siendo difícil.
El corpus MADAR (Bouamor et al., 2018) es un recurso habitual: las mismas frases del ámbito de viajes traducidas a los dialectos de 25 ciudades. Hay 2,000 frases en las 25 ciudades, y otras 10,000 para Doha, Beirut, El Cairo, Túnez y Rabat. Datos paralelos como estos permiten ver cómo se escribe el mismo significado en cada lugar.
En la práctica, la mayoría de los productos necesita una etiqueta más general. Un conjunto viable es:
| Etiqueta | Abarca |
|---|---|
msa |
Árabe estándar moderno |
gulf |
Saudí, emiratí, kuwaití, catarí, bareiní, omaní |
egyptian |
Egipcio |
levantine |
Sirio, libanés, jordano, palestino |
maghrebi |
Marroquí, argelino, tunecino, libio |
other_or_unclear |
Iraquí, yemení, sudanés, mixto o demasiado corto |
Un prompt de LLM para esta tarea pide un solo objeto JSON: la etiqueta, un nivel de confianza y las palabras que delataron el dialecto. Por ejemplo, el mensaje عايز أغير الباقة («quiero cambiar el plan», en egipcio) volvería así:
{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}
Pedir las pistas facilita revisar los errores: si la pista es una palabra del árabe estándar, la etiqueta es dudosa.
Por qué importa
- Enrutamiento. Envíe a los clientes del Golfo a agentes del Golfo, o cambie el prompt de respuesta al dialecto del usuario.
- Evaluación. Divida por dialecto los conjuntos de prueba de voz y de chat. Un único promedio oculta el grupo más débil, como muestra el artículo sobre reconocimiento de voz en dialectos.
- Analítica. Sepa en qué dialectos escriben realmente sus usuarios antes de invertir en uno.
Los mensajes mixtos son frecuentes. Los usuarios alternan entre dialecto, árabe estándar e inglés en una misma línea, lo que se llama code-switching; mantenga una etiqueta «no claro» en lugar de forzar una suposición.
En BroadNet Inference
BroadNet no tiene un endpoint de identificación de dialectos. Puede construir uno sobre POST /v1/chat/completions. La referencia de la API de BroadNet documenta la salida estructurada para GLM 5.3 y Qwen3.8 27B, lo que encaja con una lista fija de etiquetas; consulte salida estructurada. BroadNet informa haber probado Qwen3.8 27B con comprensión de los dialectos del Golfo y egipcio. BroadNet no publica la precisión de identificación de dialectos de ningún modelo, así que etiquete a mano unos 100 mensajes propios y mida el modelo con ellos antes de depender de él.
El artículo sobre clasificación de texto árabe cubre prompts, listas de etiquetas y evaluación para este tipo de tarea, y árabe dialectal explica qué significan las etiquetas.