BroadRouter
Começar

BM25

Atualizado em

BM25 (Okapi BM25) é uma função de ranking para busca por palavra-chave que pontua um documento conforme a frequência dos termos da consulta nele, a raridade desses termos na coleção e o tamanho do documento. É a similaridade padrão no Lucene e no Elasticsearch.

Também chamado de: busca lexical, ranking BM25, algoritmo BM25, Okapi BM25, lexical search

O BM25 é a metade “palavra-chave” da maioria dos sistemas de busca: rápido, barato e bom com termos exatos.

Como funciona

O BM25 vem do probabilistic relevance framework, resumido por Robertson e Zaragoza em “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). A classe do Lucene registra que ele foi apresentado por Robertson, Walker, Jones e outros no TREC-3.

Para cada termo da consulta, o BM25 combina três sinais:

  • Frequência do termo: mais ocorrências no documento aumentam a pontuação, mas com retornos decrescentes.
  • Frequência inversa de documentos (IDF): termos raros contam mais. O Lucene implementa isso como log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)).
  • Normalização por tamanho: uma correspondência em um documento curto vale mais que a mesma correspondência em um longo.

Dois parâmetros fazem o ajuste. Segundo a documentação do Elasticsearch:

Parâmetro Padrão O que controla
k1 1.2 “non-linear term frequency normalization (saturation)” (tradução: normalização não linear da frequência do termo, saturação)
b 0.75 “to what degree document length normalizes tf values” (tradução: em que grau o tamanho do documento normaliza os valores de tf)

O BM25 é a similaridade padrão no Elasticsearch.

Por que isso importa

  • Correspondências exatas. Códigos de produto, nomes e mensagens de erro são onde os embeddings são mais fracos e o BM25 é forte.
  • Custo. Não precisa de chamadas a modelo nem de GPU, só de um índice invertido.
  • Busca híbrida. A maioria dos sistemas de RAG em produção combina o BM25 com busca vetorial; veja busca híbrida.

Texto árabe e BM25

O BM25 compara tokens de forma exata, então depende de como o texto é analisado. Em árabe, a mesma palavra pode ser escrita com formas diferentes de alef, com ou sem diacríticos, ou com a teh marbuta (ة) escrita como heh (ه), e artigos e conjunções se colam à palavra. Sem normalização de texto árabe e stemming, essas variantes não batem.

O analyzer arabic embutido no Elasticsearch encadeia estes filtros: lowercase, decimal_digit, arabic_stop, arabic_normalization, um keyword marker e arabic_stemmer. Normalize consultas e documentos do mesmo jeito. Normalização de texto árabe para busca testa quais regras ajudam e quais atrapalham, e a ferramenta normalizador de texto árabe deixa você testá-las no seu próprio texto.

Na BroadNet Inference

O BM25 roda no seu mecanismo de busca, não no LLM. A BroadNet não oferece endpoints de embeddings nem de rerank; ela serve os modelos de chat que leem o que você recupera. Envie os melhores resultados do BM25 ou da busca híbrida para um modelo como o Qwen3.8 27B pela Chat Completions API. Busca RAG em árabe mostra um pipeline completo.

Perguntas frequentes

O BM25 ainda é útil quando já tenho embeddings?

Sim. O BM25 é forte em termos exatos como nomes, códigos e mensagens de erro, que os embeddings podem deixar borrados. Muitos sistemas de RAG rodam os dois e juntam os resultados com busca híbrida.

Para que servem k1 e b?

O k1 controla quão rápido os termos repetidos param de somar pontos (saturação da frequência do termo). O b controla quanto o tamanho do documento é normalizado. Lucene e Elasticsearch usam por padrão k1 1.2 e b 0.75.

O BM25 funciona com árabe?

Sim, se o texto for analisado para árabe antes. Sem normalização e stemming, as variantes de grafia e os prefixos colados impedem que as palavras batam.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity