Tarefas de classificação em árabe estão em toda parte: essa avaliação é positiva, essa mensagem de WhatsApp é uma reclamação, para qual equipe vai esse ticket, é urgente. Antes dos LLMs, cada tarefa exigia um dataset rotulado e um modelo com fine-tuning. Hoje dá para começar com um prompt. É mais rápido, mas é fácil colocar em produção um classificador que parece ótimo em dez exemplos e falha no dialeto do Golfo. Este post cobre o prompt, o formato de saída, o teste e o custo.
Quais tarefas de classificação combinam com um LLM?
| Tarefa | Rótulos, por exemplo | Observações |
|---|---|---|
| Sentimento | positive, negative, neutral, mixed | Neutro e misto são onde pessoas e modelos mais discordam |
| Intenção | complaint, question, order, cancel, other | Mantenha “other”; forçar um rótulo gera erros |
| Roteamento de tickets | billing, delivery, technical, account | Baseie os rótulos nas suas equipes reais |
| Urgência | urgent, normal | Defina urgente em uma linha: “o cliente não consegue usar o serviço agora” |
| Dialeto ou escrita | MSA, Gulf, Egyptian, Levantine, Arabizi | Útil para escolher o modelo de resposta certo; veja Arabizi |
| Tags de assunto | Vários rótulos de uma lista fixa | Peça uma lista e limite o tamanho |
Um LLM é uma boa escolha quando você tem poucos exemplos rotulados, quando os rótulos mudam com frequência ou quando quer uma justificativa para cada rótulo. Um classificador com fine-tuning é uma boa escolha quando os rótulos são estáveis, o volume é enorme e você já tem milhares de exemplos rotulados.
O que a pesquisa diz sobre LLMs em árabe?
Vale conhecer dois resultados antes de começar:
- Modelos árabes com fine-tuning podem vencer. O GPTAraEval testou o ChatGPT em 44 tarefas em árabe e concluiu que ele é “consistently surpassed by smaller models that have undergone finetuning on Arabic” (tradução: superado de forma consistente por modelos menores que passaram por fine-tuning em árabe). Os autores também encontraram resultados piores em dialetos do que no árabe padrão moderno (Khondaker et al.).
- Prompts atentos ao dialeto ajudam. Um estudo da RANLP 2025 com DeepSeek-R1, Qwen2.5 e LLaMA-3 sobre sentimento em MSA, dialeto saudita e darija marroquino relata que prompts atentos ao dialeto melhoraram a precisão, sobretudo nas classes neutra e negativa (Alharbi et al.).
São modelos mais antigos ou diferentes dos que você vai usar, então trate os resultados como direção, não como números. A lição continua valendo: meça nas suas próprias mensagens, por dialeto.
Como desenhar os rótulos?
Comece por aqui, não pelo modelo.
- Mantenha a lista curta. De quatro a oito rótulos por pergunta. Faça perguntas separadas (sentimento, intenção, urgência) como campos separados, não uma lista gigante.
- Defina cada rótulo em uma linha, dizendo também o que ele não é: “complaint: o cliente relata um problema com algo que comprou. Não é uma pergunta sobre preço.”
- Adicione um rótulo de escape como
otherouunclear. - Decida os casos mistos de antemão. “A entrega atrasou, mas o entregador foi gentil” é misto, não neutro. Registre essa regra por escrito.
As definições dos rótulos podem estar em inglês mesmo quando o texto está em árabe. Mantenha os valores dos rótulos em inglês para que o seu código não dependa de comparação de strings em árabe.
Que prompt funciona para classificar árabe?
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
Por que cada parte está ali:
- A linha de dialetos diz ao modelo o que esperar, que é o prompt atento ao dialeto que o estudo da RANLP considerou útil.
- Exemplos em mais de um dialeto. Os exemplos acima misturam dialeto do Golfo e egípcio. Use mensagens reais (anonimizadas) do seu próprio tráfego.
- A evidência como citação permite que um revisor confira um rótulo em um segundo e facilita identificar chutes.
reasoning_effort="low". Qwen3.8 27B, GLM 5.3 e DeepSeek V4.1 Flash raciocinam antes de responder, e o raciocínio conta para omax_tokens. A documentação da BroadNet sugere definirreasoning_effortcomolowou deixar 1.000 tokens ou mais. Por que senão as respostas voltam vazias.- Rejeite rótulos desconhecidos no código. Nunca confie que o modelo vai ficar dentro da lista.
Para um contrato de saída mais rígido, veja JSON mode vs json_schema. A BroadNet lista saída estruturada para GLM 5.3 e Qwen3.8 27B.
Qual modelo da BroadNet usar?
| Modelo | Por que escolher | Input / output por 1M de tokens |
|---|---|---|
| Qwen3.8 27B | Testado pela BroadNet em árabe: dialetos do Golfo e egípcio compreendidos; saída estruturada listada | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | Menor preço por token na BroadNet; roda com o crédito inicial de $5; saída estruturada não listada, então valide a saída com rigor | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | Também em plano de preço fixo a $60 por mês por sessão, uma requisição por vez | $0.175 / $0.52 |
| GLM 5.3 | Saída estruturada listada; o preço mais alto dos quatro | $0.78 / $3.46 |
Rode seu conjunto de teste primeiro no Qwen3.8 27B e no Gemma 4 VL 26B. Se as notas do Gemma ficarem próximas o bastante, ele é a escolha mais barata para rótulos curtos. Decida pelos seus números, não por esta tabela.
Como testar o classificador?
- Rotule 200 mensagens reais à mão, com um falante nativo, usando as definições acima. Inclua todos os dialetos que você recebe, pelo menos 30 de cada.
- Rode o modelo nas 200.
- Calcule a macro F1, a média das F1 por rótulo, para que rótulos raros contem tanto quanto os comuns. A acurácia sozinha esconde um modelo que nunca diz
cancel. - Leia a matriz de confusão. Se
questionecomplainttrocam de lugar com frequência, as definições se sobrepõem: corrija as definições antes de trocar de modelo. - Separe os resultados por dialeto. Um modelo pode ser forte em MSA e fraco no Golfo.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
Rode o mesmo conjunto de novo sempre que mudar o prompt ou o modelo. Como avaliar um LLM antes de trocar explica como manter um conjunto de teste fixo.
Como classificar em volume?
Classificação pesa no input: um system prompt longo, uma mensagem curta e uma resposta de uma palavra. Três alavancas importam.
Agrupe mensagens por requisição. Uma chave da BroadNet com pagamento por uso permite 30 requisições por minuto e 4 em andamento. Uma mensagem por requisição limita você a 30 mensagens por minuto por chave, ou 1.440 vezes isso por dia. Envie 20 mensagens curtas como lista numerada e peça um array JSON com 20 resultados: o mesmo rate limit passa a cobrir vinte vezes mais mensagens. Confira se o tamanho do array bate e se cada item tem o seu número.
Mantenha o prefixo do prompt idêntico. O system prompt e os exemplos são os mesmos em toda chamada. Coloque-os primeiro e a mensagem por último, para que sejam lidos do cache pelo preço de input em cache, por exemplo $0.0435 em vez de $0.175 por 1M no Qwen3.8 27B. Como estruturar prompts para o prefixo ir para o cache.
Mantenha a saída curta. Tokens de output custam mais que os de input. Um rótulo e uma citação curta bastam; tire o campo de evidência quando já confiar no modelo.
O árabe normalmente usa mais tokens por palavra que o inglês, então conte uma amostra das suas mensagens no contador de tokens para árabe e depois calcule o mês na calculadora de custo de API de LLM.
Que erros evitar?
- Testar com traduções do inglês. Texto traduzido não é como seus clientes escrevem.
- Uma única nota para todos os dialetos. Informe cada dialeto separadamente.
- Nenhum rótulo de escape. Forçar toda mensagem em um rótulo real infla os erros.
- Respostas em texto livre. “Parece negativo” não dá para processar. Peça JSON e valide.
- Ignorar o sarcasmo. “ما شاء الله، ثالث مرة يتأخر الطلب” parece positivo palavra por palavra e é uma reclamação. Coloque um exemplo assim no prompt.
Quando um LLM é o classificador errado?
Quando os rótulos são estáveis, você já tem milhares de exemplos rotulados e o volume está na casa dos milhões, um modelo encoder árabe com fine-tuning normalmente custa menos por mensagem e, segundo o GPTAraEval, pode ser mais preciso. Para grandes trabalhos offline que podem esperar, um provedor com batch API também pode sair mais barato: a OpenAI anuncia desconto de 50% para jobs em batch concluídos em até 24 horas. A BroadNet não tem batch API. Um padrão comum é usar um LLM para rotular as primeiras milhares de mensagens, conferir à mão e treinar um modelo pequeno com o resultado.
Onde a BroadNet Inference se encaixa
A BroadNet oferece um modelo testado em árabe (Qwen3.8 27B), um modelo barato que roda com o crédito inicial (Gemma 4 VL 26B) e uma opção de preço fixo (DeepSeek V4.1 Flash) atrás de uma única chave compatível com a OpenAI, sem reter o conteúdo das mensagens depois da requisição. Isso atende equipes de suporte que querem classificar mensagens em árabe sem montar um pipeline de treinamento. Não atende trabalhos offline muito grandes, em que um desconto de batch ou um modelo com fine-tuning custaria menos. Comece pelo prompt acima, pelo teste com 200 mensagens e pelo post sobre dialetos do Golfo, egípcio e levantino para montar o conjunto de teste.
