BroadRouter
Comenzar

BM25 (ranking por palabras clave)

Actualizado

BM25 (Okapi BM25) es una función de ranking para búsqueda por palabras clave que puntúa un documento según la frecuencia con que aparecen en él los términos de la consulta, lo raros que son esos términos en la colección y la longitud del documento. Es la similitud predeterminada en Lucene y Elasticsearch.

También llamado: BM25, Okapi BM25, búsqueda léxica, búsqueda por palabras clave, algoritmo BM25, lexical search, keyword search

BM25 es la mitad de palabras clave de la mayoría de los sistemas de búsqueda: rápido, barato y bueno con términos exactos.

Cómo funciona

BM25 proviene del marco probabilístico de relevancia, que Robertson y Zaragoza resumieron en «The Probabilistic Relevance Framework: BM25 and Beyond» (2009). La clase de Lucene indica que lo introdujeron Robertson, Walker, Jones y otros en TREC-3.

Para cada término de la consulta, BM25 combina tres señales:

  • Frecuencia del término: más apariciones en el documento suben la puntuación, pero con rendimientos decrecientes.
  • Frecuencia inversa de documento (IDF): los términos raros cuentan más. Lucene la implementa como log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)).
  • Normalización por longitud: una coincidencia en un documento corto cuenta más que la misma coincidencia en uno largo.

Dos parámetros lo ajustan. Según la documentación de Elasticsearch:

Parámetro Valor predeterminado Qué controla
k1 1.2 “non-linear term frequency normalization (saturation)” (traducción: normalización no lineal de la frecuencia del término, es decir, saturación)
b 0.75 “to what degree document length normalizes tf values” (traducción: en qué medida la longitud del documento normaliza los valores de tf)

BM25 es la similitud predeterminada en Elasticsearch.

Por qué importa

  • Coincidencias exactas. Códigos de producto, nombres y mensajes de error son donde los embeddings son más débiles y BM25 es fuerte.
  • Costo. No requiere llamadas a modelos ni GPU, solo un índice invertido.
  • Búsqueda híbrida. La mayoría de los sistemas RAG en producción lo combinan con búsqueda vectorial; consulte búsqueda híbrida.

Texto árabe y BM25

BM25 compara tokens de forma exacta, así que depende de cómo se analice el texto. En árabe, la misma palabra puede escribirse con distintas formas de alef, con o sin diacríticos, o con la teh marbuta (ة) escrita como heh (ه), y los artículos y conjunciones se unen a la palabra. Sin normalización de texto árabe y stemming, esas variantes no coinciden.

El analizador integrado arabic de Elasticsearch encadena estos filtros: lowercase, decimal_digit, arabic_stop, arabic_normalization, un marcador de palabras clave y arabic_stemmer. Normalice las consultas y los documentos de la misma manera. Normalización de texto árabe para búsqueda prueba qué reglas ayudan y cuáles perjudican, y la herramienta normalizador de texto árabe le permite probarlas con su propio texto.

En BroadNet Inference

BM25 se ejecuta en su motor de búsqueda, no en el LLM. BroadNet no ofrece endpoints de embeddings ni de reranking; sirve los modelos de chat que leen lo que usted recupera. Envíe sus mejores resultados de BM25 o de búsqueda híbrida a un modelo como Qwen3.8 27B mediante la API de Chat Completions. Búsqueda RAG en árabe muestra un pipeline completo.

Preguntas frecuentes

¿BM25 sigue siendo útil si ya tengo embeddings?

Sí. BM25 es fuerte con términos exactos como nombres, códigos y cadenas de error, que los embeddings pueden difuminar. Muchos sistemas RAG ejecutan ambos y combinan los resultados con búsqueda híbrida.

¿Para qué sirven k1 y b?

k1 controla la rapidez con que los términos repetidos dejan de sumar puntuación (saturación de la frecuencia del término). b controla cuánto se normaliza la longitud del documento. Lucene y Elasticsearch usan por defecto k1 1.2 y b 0.75.

¿BM25 funciona con árabe?

Sí, si el texto se analiza antes para árabe. Sin normalización ni stemming, las variantes ortográficas y los prefijos unidos impiden que las palabras coincidan.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity