BroadRouter
Começar

Identificação de dialeto árabe (dialect identification)

Atualizado em

Identificação de dialeto árabe é a tarefa de decidir em qual variedade de árabe está um texto ou uma gravação, como egípcio, do Golfo, levantino, magrebino ou árabe padrão moderno, no nível de região, país ou cidade. Serve para rotear mensagens, escolher prompts e dividir conjuntos de avaliação.

Também chamado de: identificação de dialeto, detecção de dialeto árabe, reconhecimento de dialeto, Arabic dialect identification, dialect identification, dialect detection, ADI, NADI

Antes de responder a um usuário no dialeto dele, você precisa saber em que dialeto ele escreveu. Isso é identificação de dialeto.

Como funciona

A comunidade de pesquisa mede isso com as shared tasks NADI (Nuanced Arabic Dialect Identification). O NADI 2020 usou tweets de 100 províncias em 21 países árabes, com uma subtarefa no nível de país e outra no nível de província. O NADI 2024 tratou a identificação de dialeto como tarefa multirrótulo, já que uma frase pode ser válida em vários dialetos, e acrescentou uma subtarefa sobre o grau de dialetalidade. O melhor sistema da Subtask 1 marcou 50,57 de F1, e os organizadores escrevem que a identificação de dialeto continua difícil.

O corpus MADAR (Bouamor et al., 2018) é um recurso comum: as mesmas frases do domínio de viagens traduzidas para os dialetos de 25 cidades. 2.000 frases existem nas 25; outras 10.000 existem para Doha, Beirute, Cairo, Túnis e Rabat. Dados paralelos assim mostram como o mesmo significado é escrito em cada lugar.

Na prática, a maioria dos produtos precisa de um rótulo mais geral. Um conjunto viável é:

Rótulo Abrange
msa Árabe padrão moderno
gulf Saudita, emiradense, kuwaitiano, catariano, bareinita, omanense
egyptian Egípcio
levantine Sírio, libanês, jordaniano, palestino
maghrebi Marroquino, argelino, tunisiano, líbio
other_or_unclear Iraquiano, iemenita, sudanês, misto ou curto demais

Um prompt de LLM para isso pede um único objeto JSON: o rótulo, um nível de confiança e as palavras que denunciaram o dialeto. Por exemplo, a mensagem عايز أغير الباقة voltaria assim:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

Pedir as pistas facilita revisar os erros: se a pista é uma palavra do árabe padrão, o rótulo é suspeito.

Por que isso importa

  • Roteamento. Envie clientes do Golfo para atendentes do Golfo, ou troque o prompt de resposta para o dialeto do usuário.
  • Avaliação. Separe por dialeto os conjuntos de teste de fala e de chat. Uma média única esconde o grupo mais fraco, como mostra o post sobre reconhecimento de fala em dialetos.
  • Análise. Saiba quais dialetos os seus usuários realmente escrevem antes de investir em um deles.

Mensagens mistas são comuns. Os usuários alternam entre dialeto, árabe padrão e inglês na mesma linha, o que é code-switching; mantenha um rótulo “incerto” em vez de forçar um palpite.

Na BroadNet Inference

A BroadNet não tem endpoint de identificação de dialeto. Você pode montar um sobre POST /v1/chat/completions. A referência da API da BroadNet documenta saída estruturada para o GLM 5.3 e o Qwen3.8 27B, o que serve para uma lista fixa de rótulos; veja saída estruturada. A BroadNet relata ter testado o Qwen3.8 27B com os dialetos do Golfo e egípcio sendo entendidos. A BroadNet não publica a precisão de identificação de dialeto de nenhum modelo, então rotule à mão umas 100 das suas próprias mensagens e meça o modelo com elas antes de confiar nele.

O post sobre classificação de texto em árabe cobre prompts, listas de rótulos e pontuação para esse tipo de tarefa, e árabe dialetal explica o que os rótulos significam.

Perguntas frequentes

Qual é a precisão da identificação de dialeto árabe?

Depende da granularidade e do tamanho do texto. No NADI 2024, o melhor sistema marcou 50,57 de F1 na identificação de dialeto multirrótulo, e os organizadores concluem que a tarefa continua difícil. Rótulos por região em mensagens longas são mais fáceis que rótulos por país ou cidade em mensagens curtas.

Uma mensagem pode ter mais de um dialeto?

Sim. Frases curtas ou neutras podem ser válidas em vários dialetos, e é por isso que o NADI 2024 tratou a identificação de dialeto como tarefa multirrótulo. Aceite uma resposta "incerto" ou com vários rótulos.

Preciso de um classificador dedicado?

Para começar, não. Um LLM com uma lista fixa de rótulos é rápido de configurar. Meça o desempenho em uma amostra rotulada à mão; troque por um classificador treinado se o volume ou a precisão exigirem.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity