BM25 es la mitad de palabras clave de la mayoría de los sistemas de búsqueda: rápido, barato y bueno con términos exactos.
Cómo funciona
BM25 proviene del marco probabilístico de relevancia, que Robertson y Zaragoza resumieron en «The Probabilistic Relevance Framework: BM25 and Beyond» (2009). La clase de Lucene indica que lo introdujeron Robertson, Walker, Jones y otros en TREC-3.
Para cada término de la consulta, BM25 combina tres señales:
- Frecuencia del término: más apariciones en el documento suben la puntuación, pero con rendimientos decrecientes.
- Frecuencia inversa de documento (IDF): los términos raros cuentan más. Lucene la implementa como
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)). - Normalización por longitud: una coincidencia en un documento corto cuenta más que la misma coincidencia en uno largo.
Dos parámetros lo ajustan. Según la documentación de Elasticsearch:
| Parámetro | Valor predeterminado | Qué controla |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)” (traducción: normalización no lineal de la frecuencia del término, es decir, saturación) |
b |
0.75 | “to what degree document length normalizes tf values” (traducción: en qué medida la longitud del documento normaliza los valores de tf) |
BM25 es la similitud predeterminada en Elasticsearch.
Por qué importa
- Coincidencias exactas. Códigos de producto, nombres y mensajes de error son donde los embeddings son más débiles y BM25 es fuerte.
- Costo. No requiere llamadas a modelos ni GPU, solo un índice invertido.
- Búsqueda híbrida. La mayoría de los sistemas RAG en producción lo combinan con búsqueda vectorial; consulte búsqueda híbrida.
Texto árabe y BM25
BM25 compara tokens de forma exacta, así que depende de cómo se analice el texto. En árabe, la misma palabra puede escribirse con distintas formas de alef, con o sin diacríticos, o con la teh marbuta (ة) escrita como heh (ه), y los artículos y conjunciones se unen a la palabra. Sin normalización de texto árabe y stemming, esas variantes no coinciden.
El analizador integrado arabic de Elasticsearch encadena estos filtros: lowercase, decimal_digit, arabic_stop, arabic_normalization, un marcador de palabras clave y arabic_stemmer. Normalice las consultas y los documentos de la misma manera. Normalización de texto árabe para búsqueda prueba qué reglas ayudan y cuáles perjudican, y la herramienta normalizador de texto árabe le permite probarlas con su propio texto.
En BroadNet Inference
BM25 se ejecuta en su motor de búsqueda, no en el LLM. BroadNet no ofrece endpoints de embeddings ni de reranking; sirve los modelos de chat que leen lo que usted recupera. Envíe sus mejores resultados de BM25 o de búsqueda híbrida a un modelo como Qwen3.8 27B mediante la API de Chat Completions. Búsqueda RAG en árabe muestra un pipeline completo.