Antes de responder a um usuário no dialeto dele, você precisa saber em que dialeto ele escreveu. Isso é identificação de dialeto.
Como funciona
A comunidade de pesquisa mede isso com as shared tasks NADI (Nuanced Arabic Dialect Identification). O NADI 2020 usou tweets de 100 províncias em 21 países árabes, com uma subtarefa no nível de país e outra no nível de província. O NADI 2024 tratou a identificação de dialeto como tarefa multirrótulo, já que uma frase pode ser válida em vários dialetos, e acrescentou uma subtarefa sobre o grau de dialetalidade. O melhor sistema da Subtask 1 marcou 50,57 de F1, e os organizadores escrevem que a identificação de dialeto continua difícil.
O corpus MADAR (Bouamor et al., 2018) é um recurso comum: as mesmas frases do domínio de viagens traduzidas para os dialetos de 25 cidades. 2.000 frases existem nas 25; outras 10.000 existem para Doha, Beirute, Cairo, Túnis e Rabat. Dados paralelos assim mostram como o mesmo significado é escrito em cada lugar.
Na prática, a maioria dos produtos precisa de um rótulo mais geral. Um conjunto viável é:
| Rótulo | Abrange |
|---|---|
msa |
Árabe padrão moderno |
gulf |
Saudita, emiradense, kuwaitiano, catariano, bareinita, omanense |
egyptian |
Egípcio |
levantine |
Sírio, libanês, jordaniano, palestino |
maghrebi |
Marroquino, argelino, tunisiano, líbio |
other_or_unclear |
Iraquiano, iemenita, sudanês, misto ou curto demais |
Um prompt de LLM para isso pede um único objeto JSON: o rótulo, um nível de confiança e as palavras que denunciaram o dialeto. Por exemplo, a mensagem عايز أغير الباقة voltaria assim:
{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}
Pedir as pistas facilita revisar os erros: se a pista é uma palavra do árabe padrão, o rótulo é suspeito.
Por que isso importa
- Roteamento. Envie clientes do Golfo para atendentes do Golfo, ou troque o prompt de resposta para o dialeto do usuário.
- Avaliação. Separe por dialeto os conjuntos de teste de fala e de chat. Uma média única esconde o grupo mais fraco, como mostra o post sobre reconhecimento de fala em dialetos.
- Análise. Saiba quais dialetos os seus usuários realmente escrevem antes de investir em um deles.
Mensagens mistas são comuns. Os usuários alternam entre dialeto, árabe padrão e inglês na mesma linha, o que é code-switching; mantenha um rótulo “incerto” em vez de forçar um palpite.
Na BroadNet Inference
A BroadNet não tem endpoint de identificação de dialeto. Você pode montar um sobre POST /v1/chat/completions. A referência da API da BroadNet documenta saída estruturada para o GLM 5.3 e o Qwen3.8 27B, o que serve para uma lista fixa de rótulos; veja saída estruturada. A BroadNet relata ter testado o Qwen3.8 27B com os dialetos do Golfo e egípcio sendo entendidos. A BroadNet não publica a precisão de identificação de dialeto de nenhum modelo, então rotule à mão umas 100 das suas próprias mensagens e meça o modelo com elas antes de confiar nele.
O post sobre classificação de texto em árabe cobre prompts, listas de rótulos e pontuação para esse tipo de tarefa, e árabe dialetal explica o que os rótulos significam.