BroadRouter

Árabe dialetal (dialectal Arabic)

Atualizado em

Árabe dialetal é o árabe falado no dia a dia de uma região ou cidade, como o árabe egípcio, do Golfo, levantino ou magrebino. Os dialetos diferem do árabe padrão moderno em sons, palavras e gramática, não têm ortografia padrão e são cada vez mais escritos na internet, o que os torna mais difíceis para modelos de linguagem.

Também chamado de: dialetos árabes, dialeto árabe, árabe coloquial, árabe do Golfo, árabe egípcio, árabe levantino, árabe magrebino, dialectal Arabic, Arabic dialects, Arabic dialect, colloquial Arabic, Gulf Arabic, Egyptian Arabic, Levantine Arabic, Maghrebi Arabic, Khaleeji

Um modelo pode ir bem em benchmarks de árabe e ainda tropeçar em uma mensagem de voz de Riad ou em uma mensagem de chat de Casablanca. Isso são dialetos, e eles são um teste diferente do árabe padrão moderno.

Como funciona

Bouamor et al. (2018), que criaram o corpus MADAR, descrevem o árabe como “a family of varieties” (tradução: uma família de variedades). O MSA é a língua comum da cultura, da mídia e da educação “from Morocco to Oman” (tradução: do Marrocos a Omã), mas não é a língua materna de nenhum falante. Os dialetos costumam ser agrupados por região, como egípcio, norte-africano, levantino, do Golfo e iemenita, ou por sub-região, como tunisiano, libanês, kuwaitiano e assim por diante. Eles diferem do MSA em sons, vocabulário e morfologia e, em menor grau, de cidade para cidade.

Três diferenças pesam mais para software:

  • Sons. O exemplo do MADAR é a letra qaf (ق). No árabe tunisiano ela continua /q/, perto do MSA; no egípcio e no levantino vira uma oclusiva glotal; no árabe do Golfo é /g/. Modelos de fala precisam levar as três de volta à mesma palavra escrita.
  • Palavras. Palavras do dia a dia mudam. “Eu quero” é أريد em MSA, عايز em egípcio, بدي em levantino, أبي ou أبغى no árabe do Golfo e بغيت no árabe marroquino.
  • Ortografia. O MADAR observa que o MSA tem ortografia padrão e os dialetos não. As pessoas escrevem pelo som ou pela etimologia, às vezes em letras latinas, como no Arabizi. Os falantes também misturam inglês ou francês, o que é code-switching.

O dialeto também é cada vez mais escrito. O MADAR o chama de língua escrita primária emergente da comunicação informal on-line. O NADI 2020 montou uma shared task a partir de tweets de 100 províncias em 21 países árabes.

Por que isso importa

Na BroadNet Inference

A BroadNet lista o BroadNet Transcribe Arabic para árabe do Golfo, egípcio, levantino, magrebino e padrão moderno. A BroadNet informa um word error rate de 3,8 na fala lida do FLEURS-ar e de 23,4 no seu próprio conjunto de dialetos do Golfo, egípcio e levantino, ambas medições da BroadNet. A diferença é o efeito do dialeto. Envie language=ar para todos; a documentação da BroadNet avisa que, sem isso, o árabe pode voltar transliterado em letras latinas.

Para texto, a BroadNet informa ter testado o Qwen3.8 27B em árabe, com os dialetos do Golfo e egípcio compreendidos. A BroadNet não publica resultado para texto levantino ou magrebino, então teste esses com as suas próprias mensagens. O guia de LLMs para árabe compara os modelos, e o guia de speech-to-text em árabe tem código funcionando.

Erros comuns

  • Testar só com texto jornalístico em MSA e depois lançar para usuários que escrevem em dialeto.
  • Tirar a média do WER entre dialetos, o que esconde o mais fraco.
  • Normalizar a grafia dialetal para MSA no texto que você mostra aos usuários.

Perguntas frequentes

Qual código de idioma eu envio para áudio em dialeto?

Envie ar. A documentação da BroadNet pede language=ar para áudio em árabe, e a BroadNet lista o Transcribe Arabic para árabe do Golfo, egípcio, levantino, magrebino e padrão moderno nesse único modelo.

O modelo deve responder em dialeto ou em MSA?

Decida por produto e deixe isso claro no system prompt. Muitos assistentes leem dialeto e respondem em um MSA simples ou no dialeto do usuário; teste o que os seus usuários preferem.

Quantos dialetos árabes existem?

Não há um número fixo. Os dialetos são agrupados por região (egípcio, norte-africano, levantino, do Golfo, iemenita) ou por sub-região. Só o MADAR cobre dialetos de 25 cidades.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity