BroadRouter

RAG em árabe: normalização, chunking e retrieval que funcionam

Pela equipe da BroadNet Inference · 6 min de leitura · Publicado em

RAG em árabe funciona quando você normaliza o texto antes de indexar (unifica as formas de alef, ya e alef maqsura, ta marbuta, remove diacríticos e tatweel), divide em chunks por parágrafo, combina um modelo de embeddings multilíngue com busca por palavra-chave e deixa um LLM de contexto longo responder a partir dos trechos recuperados, com citações. Aplique a mesma normalização às consultas.

A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."

Para fazer a retrieval-augmented generation (RAG) funcionar em árabe, normalize documentos e consultas com as mesmas regras de grafia, divida em chunks por parágrafo, busque tanto com um analyzer de palavras-chave para árabe quanto com um modelo de embeddings multilíngue, e faça o LLM responder apenas a partir dos trechos recuperados, com citações.

O padrão, do artigo original sobre RAG, é recuperar e depois gerar. A maioria das falhas de RAG em árabe acontece na primeira metade. O usuário digita “الفاتوره” e o índice tem “الفاتورة”; uma política diz “إلغاء” e o usuário escreve “الغاء”; o modelo de embeddings foi treinado principalmente em inglês. Conserte o retrieval e a parte do LLM tende a se resolver sozinha.

Como é um pipeline de RAG em árabe?

  1. Extraia o texto de PDFs, páginas web e artigos da central de ajuda. Para PDFs em árabe escaneados, veja OCR de árabe vs LLMs com visão.
  2. Normalize uma cópia do texto para indexação.
  3. Divida em chunks pela estrutura: títulos e parágrafos.
  4. Indexe duas vezes: um índice de palavras-chave e um índice vetorial.
  5. Recupere dos dois com a consulta normalizada, junte e reordene.
  6. Gere uma resposta a partir dos melhores trechos, citando-os.

Como normalizar texto árabe para busca?

O árabe permite várias grafias da mesma palavra, e os usuários raramente digitam diacríticos ou hamza de forma consistente. Normalize a cópia indexada e todas as consultas com a mesma função:

Regra Caracteres Por quê
Unificar alef أ إ آ ٱ → ا A hamza costuma ser omitida na digitação
Alef maqsura ى → ي Comum na digitação egípcia e na grafia descuidada
Ta marbuta ة → ه Os usuários digitam ه no fim da palavra
Remover diacríticos U+064B a U+0652, U+0670 A maioria dos textos e consultas não tem vogais marcadas
Remover tatweel ـ (U+0640) Alongamento decorativo
Dígitos ٠–٩ → 0–9 Casar números nas duas formas

Teste cada opção no seu texto com o normalizador de texto árabe, que também gera uma função Python equivalente.

import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))

Os code points estão na tabela Unicode do árabe. Dois cuidados:

  • Nunca exiba o texto normalizado. Guarde o original ao lado e use o original para exibir, citar e enviar ao LLM. Árabe normalizado parece escrito errado para quem lê.
  • Algumas unificações perdem sentido. ة → ه junta alguns pares de palavras, e ى → ي junta “على” (sobre) com “علي” (Ali). Para o recall da busca, a troca costuma valer a pena; teste com suas consultas.

As mesmas regras são centrais para medir a precisão do reconhecimento de fala em árabe, então você pode reaproveitar uma única função em toda a sua stack.

Como dividir documentos em árabe em chunks?

  • Divida pela estrutura. Títulos, artigos numerados em contratos (المادة ١، المادة ٢) e quebras de parágrafo são limites naturais.
  • Algumas centenas de palavras por chunk, com uma ou duas frases de sobreposição. As palavras árabes carregam mais morfemas que as inglesas, então um chunk cobre mais sentido por palavra do que o tamanho sugere.
  • Limites de frase: divida em . ؟ ! e na vírgula árabe ، só em último caso. Muitos textos árabes usam frases longas unidas por و, então dividir por parágrafo é mais seguro.
  • Leve o contexto junto. Coloque antes de cada chunk o título do documento e o título da seção, em árabe, para que um chunk que diz “تُطبَّق هذه الرسوم” (estas tarifas se aplicam) ainda diga quais tarifas.

A calculadora de chunking para RAG transforma tamanho de chunk, sobreposição e top-k em número de chunks, tokens por consulta e custo mensal.

Por que combinar busca por palavra-chave e embeddings?

Busca por palavra-chave

A morfologia árabe derruba a correspondência ingênua por palavra-chave: كتاب, الكتاب, بالكتاب, وكتابه e كتب estão todas ligadas a “livro”. Use um analyzer que lide com árabe. O Elasticsearch traz um language analyzer para árabe que encadeia stop words árabes, normalização de dígitos, normalização árabe e um stemmer árabe, para que formas com prefixo como الكتاب e وكتاب casem com mais frequência. Verifique o que ele junta no seu vocabulário antes de confiar nele.

Embeddings

Modelos de embeddings transformam texto em vetores de forma que trechos com sentido parecido fiquem próximos, mesmo sem palavras em comum. Para árabe, escolha um modelo multilíngue e teste:

  • Prefira modelos treinados em muitos idiomas, como o BGE M3, que os autores descrevem como compatível com mais de 100 idiomas de trabalho. Modelos só de inglês geram vetores ruins para árabe.
  • Teste o retrieval entre idiomas se os usuários perguntam em inglês sobre documentos em árabe, ou o contrário.
  • Gere embeddings do texto original ou do normalizado, mas seja consistente entre documentos e consultas. Teste os dois; o resultado varia por modelo.

A BroadNet Inference não oferece endpoint de embeddings: seus endpoints documentados são chat completions e transcrição de áudio. Use um provedor de embeddings em quem você confia, ou hospede um modelo de embeddings multilíngue aberto com um banco de dados vetorial, e use a BroadNet para a geração. A calculadora de custo de embeddings estima o preço de indexação e consultas entre provedores.

Juntar e reordenar

Rode as duas buscas, junte os resultados com reciprocal rank fusion (dê a cada documento a soma de 1 / (k + posição) nas listas) e fique com os 10 a 30 melhores trechos. Um reranker ou uma checagem rápida de relevância com um LLM pode cortar ainda mais, mas com modelos de contexto longo muitas vezes dá para pular essa etapa.

Como gerar respostas com citações?

Passe ao modelo os trechos com ids e peça que responda apenas a partir deles:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content

O system prompt em árabe diz: “Responda à pergunta do usuário em árabe padrão moderno simples, com base apenas nos trechos anexados. Cite o número do trecho entre colchetes depois de cada informação. Se não encontrar a resposta nos trechos, diga isso claramente.” Instruções em inglês funcionam igualmente bem; o que importa é a regra de responder só a partir dos trechos e citar.

Coloque os trechos antes da pergunta. Se os mesmos documentos aparecem em muitas requisições, mantenha-os na mesma ordem no início do prompt para que o preço de input em cache se aplique; veja tokens de input em cache.

Qual modelo?

Modelo Contexto Por quê
DeepSeek V4.1 Flash 1.048.576 A menor tarifa de input em cache dos três na BroadNet ($0.0055 por 1M de tokens), espaço para muitos trechos, planos de preço fixo disponíveis
GLM 5.3 1.048.576 Ferramentas e saída estruturada para retrieval agêntico
Qwen3.8 27B 262.144 A BroadNet o testou em árabe: escrita fluente, dialetos do Golfo e egípcio compreendidos

Com um contexto de um milhão de tokens, você pode recuperar com folga, digamos 50 trechos em vez de 5, e deixar o modelo escolher. Isso reduz o estrago quando o retrieval coloca o trecho certo na 12ª posição. Para conjuntos pequenos de documentos, talvez você nem precise de retrieval; veja contexto longo vs RAG e confira se seu corpus cabe com a calculadora de janela de contexto. Os preços de todos os modelos estão na página de preços.

Como avaliar um RAG em árabe?

  1. Escreva de 50 a 100 perguntas reais, na mistura de MSA, dialeto e inglês que seus usuários realmente digitam.
  2. Marque o trecho que responde a cada uma.
  3. Meça primeiro o retrieval: o trecho certo está entre os 10 primeiros? Compare só palavra-chave, só embeddings e híbrido, com e sem normalização.
  4. Depois meça as respostas: corretas, citadas e “não encontrado” quando a resposta não existe.
  5. Inclua de propósito consultas com erros de digitação e em dialeto. Os usuários escrevem “وين الفاتوره” (Golfo/Levante: cadê a fatura), não “أين الفاتورة”.

Conserte o retrieval antes de trocar o modelo de geração: se o trecho certo nunca chega ao prompt, nenhum modelo consegue citá-lo.

Perguntas frequentes

A BroadNet Inference oferece embeddings?

Não. Os endpoints documentados são chat completions e transcrição de áudio. Use um modelo de embeddings de outro provedor ou rode você mesmo um modelo de embeddings multilíngue aberto, e use a BroadNet na etapa de geração.

Devo normalizar o ta marbuta para ha?

Para busca, geralmente sim, porque os usuários digitam das duas formas. Isso junta algumas palavras distintas, mas na maioria dos corpus o ganho de recall compensa. Guarde o texto original para exibição e citações.

Qual deve ser o tamanho dos chunks em árabe?

Comece com um a três parágrafos, algumas centenas de palavras, com uma pequena sobreposição. Divida em títulos e quebras de parágrafo, não no meio da frase, e mantenha o título do documento em cada chunk.

Qual modelo de embeddings funciona para árabe?

Use um modelo multilíngue e teste com suas próprias consultas em árabe. O BGE M3, por exemplo, é descrito pelos autores como capaz de retrieval em mais de 100 idiomas de trabalho. Modelos de embeddings só de inglês geram vetores ruins para árabe.

Os usuários podem buscar em inglês e encontrar documentos em árabe?

Sim, com um modelo de embeddings multilíngue que coloca os dois idiomas no mesmo espaço, ou traduzindo a consulta com um LLM antes da busca por palavra-chave. Teste explicitamente as consultas entre idiomas.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity