O BM25 é a metade “palavra-chave” da maioria dos sistemas de busca: rápido, barato e bom com termos exatos.
Como funciona
O BM25 vem do probabilistic relevance framework, resumido por Robertson e Zaragoza em “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). A classe do Lucene registra que ele foi apresentado por Robertson, Walker, Jones e outros no TREC-3.
Para cada termo da consulta, o BM25 combina três sinais:
- Frequência do termo: mais ocorrências no documento aumentam a pontuação, mas com retornos decrescentes.
- Frequência inversa de documentos (IDF): termos raros contam mais. O Lucene implementa isso como
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)). - Normalização por tamanho: uma correspondência em um documento curto vale mais que a mesma correspondência em um longo.
Dois parâmetros fazem o ajuste. Segundo a documentação do Elasticsearch:
| Parâmetro | Padrão | O que controla |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)” (tradução: normalização não linear da frequência do termo, saturação) |
b |
0.75 | “to what degree document length normalizes tf values” (tradução: em que grau o tamanho do documento normaliza os valores de tf) |
O BM25 é a similaridade padrão no Elasticsearch.
Por que isso importa
- Correspondências exatas. Códigos de produto, nomes e mensagens de erro são onde os embeddings são mais fracos e o BM25 é forte.
- Custo. Não precisa de chamadas a modelo nem de GPU, só de um índice invertido.
- Busca híbrida. A maioria dos sistemas de RAG em produção combina o BM25 com busca vetorial; veja busca híbrida.
Texto árabe e BM25
O BM25 compara tokens de forma exata, então depende de como o texto é analisado. Em árabe, a mesma palavra pode ser escrita com formas diferentes de alef, com ou sem diacríticos, ou com a teh marbuta (ة) escrita como heh (ه), e artigos e conjunções se colam à palavra. Sem normalização de texto árabe e stemming, essas variantes não batem.
O analyzer arabic embutido no Elasticsearch encadeia estes filtros: lowercase, decimal_digit, arabic_stop, arabic_normalization, um keyword marker e arabic_stemmer. Normalize consultas e documentos do mesmo jeito. Normalização de texto árabe para busca testa quais regras ajudam e quais atrapalham, e a ferramenta normalizador de texto árabe deixa você testá-las no seu próprio texto.
Na BroadNet Inference
O BM25 roda no seu mecanismo de busca, não no LLM. A BroadNet não oferece endpoints de embeddings nem de rerank; ela serve os modelos de chat que leem o que você recupera. Envie os melhores resultados do BM25 ou da busca híbrida para um modelo como o Qwen3.8 27B pela Chat Completions API. Busca RAG em árabe mostra um pipeline completo.