O Arabizi, também chamado de franco-árabe ou “Franco”, é árabe escrito com letras latinas e dígitos para os sons que o alfabeto latino não tem, como 3 para ع e 7 para ح. Para lidar com ele usando um LLM, detecte-o, faça o modelo convertê-lo para o alfabeto árabe dizendo qual é o dialeto e rode o resto do pipeline sobre o texto em árabe.
“ana 3ayez a7gez ma3ad bokra” é uma mensagem comum de cliente no Egito: “أنا عايز أحجز ميعاد بكرة” (quero marcar um horário para amanhã). Ele nasceu em celulares e computadores sem teclado árabe e ainda aparece em conversas de chat.
Quais números representam quais letras árabes?
Não há padrão, mas os dígitos são usados para letras árabes que se parecem com eles ou que não têm equivalente latino. A visão geral do alfabeto de chat árabe lista as convenções comuns:
| Dígito | Letra árabe | Exemplo | Alfabeto árabe | Significado |
|---|---|---|---|---|
| 2 | ء (hamza) / أ | so2al | سؤال | pergunta |
| 3 | ع | 3arabi | عربي | árabe |
| 3’ ou 8 | غ | 8aly / 3’aly | غالي | caro |
| 5 ou kh | خ | 5alas | خلاص | pronto / chega |
| 6 | ط | 6ayeb | طيب | OK (Golfo) |
| 7 | ح | 7abibi | حبيبي | meu querido |
| 9 | ص | 9ba7 | صباح | manhã (Golfo) |
| 8 | ق (em algumas regiões) | 8alb | قلب | coração |
Os hábitos regionais variam. A visão geral observa, por exemplo, que 8 para غ só é usado no Líbano, enquanto 8 e 9 para ق são comuns na Arábia Saudita; no Arabizi egípcio, 2 pode representar ق onde ele é pronunciado como oclusiva glotal. As vogais são escritas de ouvido, então “ma3lesh”, “ma3lsh” e “m3lsh” (معلش, deixa pra lá) são todos a mesma palavra.
Por que o Arabizi é difícil para software?
- É quase sempre dialeto. As pessoas escrevem Arabizi do jeito que falam, então ele traz todos os desafios dos dialetos de uma vez, sem o alfabeto árabe como âncora.
- Parece inglês ou francês. “bas” é بس (mas / só) em árabe e nada em inglês; “men” é من (de / quem). Detectores de palavras-chave e ferramentas de identificação de idioma muitas vezes rotulam o Arabizi como inglês ou outro idioma de alfabeto latino.
- Sem grafia padrão. Busca por correspondência exata, regras de intenção e análises quebram.
- Code-switching. “el order bta3i lessa ma waslsh, can u check?” mistura Arabizi egípcio e inglês na mesma frase.
Conversores baseados em regras sofrem porque uma sequência latina pode corresponder a muitas grafias árabes; sistemas de pesquisa como o trabalho de Darwish sobre detecção e conversão de Arabizi combinavam mineração de transliterações com modelagem de linguagem para escolher a palavra certa, e relataram 88,7% de precisão na conversão. Os LLMs modernos, na prática, fazem isso em um passo só.
Os LLMs lidam bem com Arabizi?
Modelos grandes viram Arabizi em textos da web e de redes sociais, então muitas vezes entendem frases comuns. Os resultados variam por modelo e dialeto, então teste antes de depender disso. Falhas típicas:
- Tratar como inglês e responder a uma mensagem mal entendida.
- Converter para o dialeto errado, por exemplo “transformando” egípcio em palavras do MSA que mudam o tom, ou supondo Golfo quando o usuário é libanês.
- Alfabeto de saída inconsistente, respondendo em Arabizi a uma mensagem e em alfabeto árabe à seguinte.
- Precisão alucinada em nomes e lugares, em que a grafia latina é ambígua.
A solução é a mesma dos dialetos em geral: diga ao modelo o que esperar e o que produzir.
Como converter Arabizi para o alfabeto árabe com um LLM?
Primeiro converta o Arabizi para o alfabeto árabe e depois rode o resto do pipeline (busca, roteamento, respostas) sobre o texto em árabe. Assim você mantém um único caminho no código e a busca e as análises funcionam.
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
"dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
"arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
"english_gloss": "<short English meaning>"}"""
def normalise(message: str) -> dict:
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=1500, # the model reasons first; leave room for the JSON
messages=[{"role": "system", "content": NORMALISE},
{"role": "user", "content": message}],
)
text = r.choices[0].message.content.strip()
text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
return json.loads(text) # validate the fields before you trust them
print(normalise("el order bta3i lessa ma waslsh, can u check?"))
Um bom resultado:
{"script": "mixed", "dialect": "egyptian",
"arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
"english_gloss": "My order still hasn't arrived, can you check?"}
Observações sobre esse desenho:
- Mantenha as palavras do dialeto. Pedir “a mensagem em alfabeto árabe, mantendo as palavras do dialeto” evita que ela seja reescrita em silêncio para MSA, o que faria perder sentido para roteamento e análise de sentimento.
- Guarde o original. Armazene a mensagem bruta ao lado da conversão, para auditorias e para retreinar regras.
- Use um pré-filtro barato. Uma checagem simples (letras latinas mais os dígitos 2, 3, 5, 6, 7, 8 ou 9 dentro das palavras, como na regex abaixo) pega a maior parte do Arabizi antes de você gastar uma chamada de LLM. Mensagens só em árabe ou só em inglês podem pular a conversão. Para uma saída mais rígida, use saída estruturada com um schema.
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
return bool(ARABIZI_HINT.search(text)) and not re.search(r"[-ۿ]", text)
A pista não pega Arabizi sem dígitos (“ana mesh fahem”, não entendi) e dispara em códigos de produto como “a7x”; trate-a como economia de custo, não como classificador. A decisão real é o campo script do LLM.
Em qual alfabeto a resposta deve sair?
Decida por produto, não por mensagem:
| Responder em | Quando |
|---|---|
| Alfabeto árabe (MSA ou dialeto leve) | Padrão para a maioria das empresas; todo mundo lê |
| Inglês | Se seu idioma de suporte é o inglês, ou se o cliente escreveu sobretudo em inglês |
| Arabizi | Marcas jovens que querem acompanhar o estilo do cliente; peça a nativos que revisem amostras |
Espelhar o Arabizi automaticamente tende a gerar grafias que parecem estranhas para usuários nativos, porque não há padrão a seguir. Se for espelhar, dê ao modelo exemplos das grafias que você prefere. Mais sobre registro e alfabeto em engenharia de prompt em árabe.
Qual modelo usar para Arabizi?
Reúna de 50 a 100 mensagens reais em Arabizi dos seus canais, escreva para cada uma a versão correta em alfabeto árabe e a intenção, e avalie os modelos candidatos primeiro pela precisão de intenção e depois pela qualidade da conversão. A BroadNet informa que, nos testes dela, o Qwen3.8 27B entendeu os dialetos do Golfo e egípcio e escreveu árabe fluente; ela não publicou resultado específico para Arabizi, então teste nas suas mensagens. O DeepSeek V4.1 Flash é mais barato por token de output, e o BroadNet Gemma 4 VL 26B é o modelo mais barato da BroadNet para uma etapa de pré-classificação em grande volume. Os preços estão na página de preços. Arabizi em alfabeto latino e texto em alfabeto árabe são tokenizados de forma diferente, então cole as duas versões de algumas mensagens no contador de tokens gratuito antes de estimar o custo.
Onde o Arabizi aparece?
- WhatsApp e DMs de redes sociais: a fonte principal. Veja arquitetura de chatbot de WhatsApp em árabe.
- Caixas de busca: os usuários digitam “7agz” (حجز, reserva). Normalize as consultas com o mesmo passo antes da recuperação RAG em árabe.
- Não da fala para texto, se você enviar o idioma. Arabizi é digitado por pessoas. Se a transcrição de um áudio em árabe volta em letras latinas, provavelmente falta
language=arna requisição; a documentação da BroadNet avisa que, sem isso, o árabe pode ser transliterado. Veja o guia de áudios do WhatsApp.
