BroadRouter
Comenzar

Identificación de dialectos árabes

Actualizado

La identificación de dialectos árabes es la tarea de determinar en qué variedad del árabe está un texto o una grabación, como el egipcio, el del Golfo, el levantino, el magrebí o el árabe estándar moderno, a nivel de región, país o ciudad. Se usa para enrutar mensajes, elegir prompts y dividir conjuntos de evaluación.

También llamado: identificación de dialectos árabes, identificación de dialectos, detección de dialectos, detección del dialecto árabe, clasificación de dialectos, dialect identification, dialect detection, Arabic dialect identification, ADI, NADI

Antes de responder a un usuario en su dialecto, hay que saber en qué dialecto escribió. Eso es la identificación de dialectos.

Cómo funciona

La comunidad investigadora mide esta tarea con las tareas compartidas NADI (Nuanced Arabic Dialect Identification). NADI 2020 usó tuits de 100 provincias de 21 países árabes, con una subtarea a nivel de país y otra a nivel de provincia. NADI 2024 planteó la identificación de dialectos como una tarea multietiqueta, ya que una misma frase puede ser válida en varios dialectos, y añadió una subtarea sobre el grado de dialectalidad. El mejor sistema de la Subtarea 1 obtuvo 50.57 de F1, y los organizadores escriben que la identificación de dialectos sigue siendo difícil.

El corpus MADAR (Bouamor et al., 2018) es un recurso habitual: las mismas frases del ámbito de viajes traducidas a los dialectos de 25 ciudades. Hay 2,000 frases en las 25 ciudades, y otras 10,000 para Doha, Beirut, El Cairo, Túnez y Rabat. Datos paralelos como estos permiten ver cómo se escribe el mismo significado en cada lugar.

En la práctica, la mayoría de los productos necesita una etiqueta más general. Un conjunto viable es:

Etiqueta Abarca
msa Árabe estándar moderno
gulf Saudí, emiratí, kuwaití, catarí, bareiní, omaní
egyptian Egipcio
levantine Sirio, libanés, jordano, palestino
maghrebi Marroquí, argelino, tunecino, libio
other_or_unclear Iraquí, yemení, sudanés, mixto o demasiado corto

Un prompt de LLM para esta tarea pide un solo objeto JSON: la etiqueta, un nivel de confianza y las palabras que delataron el dialecto. Por ejemplo, el mensaje عايز أغير الباقة («quiero cambiar el plan», en egipcio) volvería así:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

Pedir las pistas facilita revisar los errores: si la pista es una palabra del árabe estándar, la etiqueta es dudosa.

Por qué importa

  • Enrutamiento. Envíe a los clientes del Golfo a agentes del Golfo, o cambie el prompt de respuesta al dialecto del usuario.
  • Evaluación. Divida por dialecto los conjuntos de prueba de voz y de chat. Un único promedio oculta el grupo más débil, como muestra el artículo sobre reconocimiento de voz en dialectos.
  • Analítica. Sepa en qué dialectos escriben realmente sus usuarios antes de invertir en uno.

Los mensajes mixtos son frecuentes. Los usuarios alternan entre dialecto, árabe estándar e inglés en una misma línea, lo que se llama code-switching; mantenga una etiqueta «no claro» en lugar de forzar una suposición.

En BroadNet Inference

BroadNet no tiene un endpoint de identificación de dialectos. Puede construir uno sobre POST /v1/chat/completions. La referencia de la API de BroadNet documenta la salida estructurada para GLM 5.3 y Qwen3.8 27B, lo que encaja con una lista fija de etiquetas; consulte salida estructurada. BroadNet informa haber probado Qwen3.8 27B con comprensión de los dialectos del Golfo y egipcio. BroadNet no publica la precisión de identificación de dialectos de ningún modelo, así que etiquete a mano unos 100 mensajes propios y mida el modelo con ellos antes de depender de él.

El artículo sobre clasificación de texto árabe cubre prompts, listas de etiquetas y evaluación para este tipo de tarea, y árabe dialectal explica qué significan las etiquetas.

Preguntas frecuentes

¿Qué tan precisa es la identificación de dialectos árabes?

Depende de la granularidad y de la longitud del texto. En NADI 2024 el mejor sistema obtuvo 50.57 de F1 en identificación multietiqueta de dialectos, y los organizadores concluyen que la tarea sigue siendo difícil. Las etiquetas por región en mensajes largos son más fáciles que las de país o ciudad en mensajes cortos.

¿Un mensaje puede tener más de un dialecto?

Sí. Las frases cortas o neutras pueden ser válidas en varios dialectos, y por eso NADI 2024 planteó la identificación de dialectos como una tarea multietiqueta. Permita una respuesta «no claro» o con varias etiquetas.

¿Necesito un clasificador dedicado?

No para empezar. Un LLM con una lista fija de etiquetas se configura rápido. Mídalo con una muestra etiquetada a mano; pase a un clasificador entrenado si el volumen o la precisión lo exigen.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity