BroadRouter
Começar

Classificação de texto em árabe com LLM: sentimento, intenção, triagem

Pela equipe da BroadNet Inference · 7 min de leitura · Publicado em · Atualizado em

Para classificar texto em árabe com um LLM, defina uma lista curta de rótulos com definições de uma linha, dê alguns exemplos rotulados em cada dialeto que você recebe, peça JSON com um rótulo e uma citação curta como evidência, e deixe o raciocínio em low. Depois avalie o modelo em 200 mensagens rotuladas à mão com macro F1 antes de confiar nele. Modelos árabes com fine-tuning ainda podem superar um LLM genérico.

Tarefas de classificação em árabe estão em toda parte: essa avaliação é positiva, essa mensagem de WhatsApp é uma reclamação, para qual equipe vai esse ticket, é urgente. Antes dos LLMs, cada tarefa exigia um dataset rotulado e um modelo com fine-tuning. Hoje dá para começar com um prompt. É mais rápido, mas é fácil colocar em produção um classificador que parece ótimo em dez exemplos e falha no dialeto do Golfo. Este post cobre o prompt, o formato de saída, o teste e o custo.

Quais tarefas de classificação combinam com um LLM?

Tarefa Rótulos, por exemplo Observações
Sentimento positive, negative, neutral, mixed Neutro e misto são onde pessoas e modelos mais discordam
Intenção complaint, question, order, cancel, other Mantenha “other”; forçar um rótulo gera erros
Roteamento de tickets billing, delivery, technical, account Baseie os rótulos nas suas equipes reais
Urgência urgent, normal Defina urgente em uma linha: “o cliente não consegue usar o serviço agora”
Dialeto ou escrita MSA, Gulf, Egyptian, Levantine, Arabizi Útil para escolher o modelo de resposta certo; veja Arabizi
Tags de assunto Vários rótulos de uma lista fixa Peça uma lista e limite o tamanho

Um LLM é uma boa escolha quando você tem poucos exemplos rotulados, quando os rótulos mudam com frequência ou quando quer uma justificativa para cada rótulo. Um classificador com fine-tuning é uma boa escolha quando os rótulos são estáveis, o volume é enorme e você já tem milhares de exemplos rotulados.

O que a pesquisa diz sobre LLMs em árabe?

Vale conhecer dois resultados antes de começar:

  • Modelos árabes com fine-tuning podem vencer. O GPTAraEval testou o ChatGPT em 44 tarefas em árabe e concluiu que ele é “consistently surpassed by smaller models that have undergone finetuning on Arabic” (tradução: superado de forma consistente por modelos menores que passaram por fine-tuning em árabe). Os autores também encontraram resultados piores em dialetos do que no árabe padrão moderno (Khondaker et al.).
  • Prompts atentos ao dialeto ajudam. Um estudo da RANLP 2025 com DeepSeek-R1, Qwen2.5 e LLaMA-3 sobre sentimento em MSA, dialeto saudita e darija marroquino relata que prompts atentos ao dialeto melhoraram a precisão, sobretudo nas classes neutra e negativa (Alharbi et al.).

São modelos mais antigos ou diferentes dos que você vai usar, então trate os resultados como direção, não como números. A lição continua valendo: meça nas suas próprias mensagens, por dialeto.

Como desenhar os rótulos?

Comece por aqui, não pelo modelo.

  1. Mantenha a lista curta. De quatro a oito rótulos por pergunta. Faça perguntas separadas (sentimento, intenção, urgência) como campos separados, não uma lista gigante.
  2. Defina cada rótulo em uma linha, dizendo também o que ele não é: “complaint: o cliente relata um problema com algo que comprou. Não é uma pergunta sobre preço.”
  3. Adicione um rótulo de escape como other ou unclear.
  4. Decida os casos mistos de antemão. “A entrega atrasou, mas o entregador foi gentil” é misto, não neutro. Registre essa regra por escrito.

As definições dos rótulos podem estar em inglês mesmo quando o texto está em árabe. Mantenha os valores dos rótulos em inglês para que o seu código não dependa de comparação de strings em árabe.

Que prompt funciona para classificar árabe?

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out

Por que cada parte está ali:

  • A linha de dialetos diz ao modelo o que esperar, que é o prompt atento ao dialeto que o estudo da RANLP considerou útil.
  • Exemplos em mais de um dialeto. Os exemplos acima misturam dialeto do Golfo e egípcio. Use mensagens reais (anonimizadas) do seu próprio tráfego.
  • A evidência como citação permite que um revisor confira um rótulo em um segundo e facilita identificar chutes.
  • reasoning_effort="low". Qwen3.8 27B, GLM 5.3 e DeepSeek V4.1 Flash raciocinam antes de responder, e o raciocínio conta para o max_tokens. A documentação da BroadNet sugere definir reasoning_effort como low ou deixar 1.000 tokens ou mais. Por que senão as respostas voltam vazias.
  • Rejeite rótulos desconhecidos no código. Nunca confie que o modelo vai ficar dentro da lista.

Para um contrato de saída mais rígido, veja JSON mode vs json_schema. A BroadNet lista saída estruturada para GLM 5.3 e Qwen3.8 27B.

Qual modelo da BroadNet usar?

Modelo Por que escolher Input / output por 1M de tokens
Qwen3.8 27B Testado pela BroadNet em árabe: dialetos do Golfo e egípcio compreendidos; saída estruturada listada $0.175 / $2.17
BroadNet Gemma 4 VL 26B Menor preço por token na BroadNet; roda com o crédito inicial de $5; saída estruturada não listada, então valide a saída com rigor $0.10 / $0.22
DeepSeek V4.1 Flash Também em plano de preço fixo a $60 por mês por sessão, uma requisição por vez $0.175 / $0.52
GLM 5.3 Saída estruturada listada; o preço mais alto dos quatro $0.78 / $3.46

Rode seu conjunto de teste primeiro no Qwen3.8 27B e no Gemma 4 VL 26B. Se as notas do Gemma ficarem próximas o bastante, ele é a escolha mais barata para rótulos curtos. Decida pelos seus números, não por esta tabela.

Como testar o classificador?

  1. Rotule 200 mensagens reais à mão, com um falante nativo, usando as definições acima. Inclua todos os dialetos que você recebe, pelo menos 30 de cada.
  2. Rode o modelo nas 200.
  3. Calcule a macro F1, a média das F1 por rótulo, para que rótulos raros contem tanto quanto os comuns. A acurácia sozinha esconde um modelo que nunca diz cancel.
  4. Leia a matriz de confusão. Se question e complaint trocam de lugar com frequência, as definições se sobrepõem: corrija as definições antes de trocar de modelo.
  5. Separe os resultados por dialeto. Um modelo pode ser forte em MSA e fraco no Golfo.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))

Rode o mesmo conjunto de novo sempre que mudar o prompt ou o modelo. Como avaliar um LLM antes de trocar explica como manter um conjunto de teste fixo.

Como classificar em volume?

Classificação pesa no input: um system prompt longo, uma mensagem curta e uma resposta de uma palavra. Três alavancas importam.

Agrupe mensagens por requisição. Uma chave da BroadNet com pagamento por uso permite 30 requisições por minuto e 4 em andamento. Uma mensagem por requisição limita você a 30 mensagens por minuto por chave, ou 1.440 vezes isso por dia. Envie 20 mensagens curtas como lista numerada e peça um array JSON com 20 resultados: o mesmo rate limit passa a cobrir vinte vezes mais mensagens. Confira se o tamanho do array bate e se cada item tem o seu número.

Mantenha o prefixo do prompt idêntico. O system prompt e os exemplos são os mesmos em toda chamada. Coloque-os primeiro e a mensagem por último, para que sejam lidos do cache pelo preço de input em cache, por exemplo $0.0435 em vez de $0.175 por 1M no Qwen3.8 27B. Como estruturar prompts para o prefixo ir para o cache.

Mantenha a saída curta. Tokens de output custam mais que os de input. Um rótulo e uma citação curta bastam; tire o campo de evidência quando já confiar no modelo.

O árabe normalmente usa mais tokens por palavra que o inglês, então conte uma amostra das suas mensagens no contador de tokens para árabe e depois calcule o mês na calculadora de custo de API de LLM.

Que erros evitar?

  • Testar com traduções do inglês. Texto traduzido não é como seus clientes escrevem.
  • Uma única nota para todos os dialetos. Informe cada dialeto separadamente.
  • Nenhum rótulo de escape. Forçar toda mensagem em um rótulo real infla os erros.
  • Respostas em texto livre. “Parece negativo” não dá para processar. Peça JSON e valide.
  • Ignorar o sarcasmo. “ما شاء الله، ثالث مرة يتأخر الطلب” parece positivo palavra por palavra e é uma reclamação. Coloque um exemplo assim no prompt.

Quando um LLM é o classificador errado?

Quando os rótulos são estáveis, você já tem milhares de exemplos rotulados e o volume está na casa dos milhões, um modelo encoder árabe com fine-tuning normalmente custa menos por mensagem e, segundo o GPTAraEval, pode ser mais preciso. Para grandes trabalhos offline que podem esperar, um provedor com batch API também pode sair mais barato: a OpenAI anuncia desconto de 50% para jobs em batch concluídos em até 24 horas. A BroadNet não tem batch API. Um padrão comum é usar um LLM para rotular as primeiras milhares de mensagens, conferir à mão e treinar um modelo pequeno com o resultado.

Onde a BroadNet Inference se encaixa

A BroadNet oferece um modelo testado em árabe (Qwen3.8 27B), um modelo barato que roda com o crédito inicial (Gemma 4 VL 26B) e uma opção de preço fixo (DeepSeek V4.1 Flash) atrás de uma única chave compatível com a OpenAI, sem reter o conteúdo das mensagens depois da requisição. Isso atende equipes de suporte que querem classificar mensagens em árabe sem montar um pipeline de treinamento. Não atende trabalhos offline muito grandes, em que um desconto de batch ou um modelo com fine-tuning custaria menos. Comece pelo prompt acima, pelo teste com 200 mensagens e pelo post sobre dialetos do Golfo, egípcio e levantino para montar o conjunto de teste.

Perguntas frequentes

Um LLM consegue fazer análise de sentimento em árabe?

Sim, sem treinamento, com um prompt que traz rótulos e exemplos. A qualidade varia por dialeto e por classe: em testes publicados, os modelos ficam atrás de modelos árabes com fine-tuning em muitas tarefas, e os dialetos têm notas menores que o árabe padrão moderno. Meça nos seus próprios dados.

Para classificação, um LLM é melhor que um BERT árabe com fine-tuning?

Nem sempre. O GPTAraEval concluiu que o ChatGPT é "consistently surpassed by smaller models that have undergone finetuning on Arabic" (tradução: superado de forma consistente por modelos menores que passaram por fine-tuning em árabe) em 44 tarefas. Um LLM vence quando você tem poucos exemplos rotulados, rótulos que mudam com frequência ou precisa de uma justificativa para cada rótulo.

Como classifico mensagens em árabe do Golfo e egípcio?

Dê ao modelo exemplos rotulados em cada dialeto, diga quais dialetos esperar e avalie cada dialeto separadamente. Um modelo que vai bem em avaliações egípcias ainda pode não pegar o sarcasmo do Golfo.

Como obtenho sempre um rótulo consistente?

Use uma lista fixa de rótulos, peça JSON só com esses valores, defina temperature como 0 e rejeite qualquer resposta fora da lista. Envie os mesmos exemplos na mesma ordem para que os resultados sejam repetíveis.

Quantas mensagens posso classificar por dia na BroadNet?

Uma chave com pagamento por uso permite 30 requisições por minuto e 4 ao mesmo tempo. Com uma mensagem por requisição, isso dá no máximo 30 mensagens por minuto por chave, ou 1.440 vezes isso por dia. Colocar 20 mensagens curtas em cada requisição multiplica isso por vinte, dentro do limite de contexto.

A BroadNet tem batch API para classificação em massa?

Não. A BroadNet documenta só chat completions e transcrição. Para grandes trabalhos offline, agrupe mensagens por requisição ou compare com um provedor que tenha batch API; a Batch API da OpenAI anuncia desconto de 50% com janela de 24 horas.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity