BM25 est la moitié « mots-clés » de la plupart des systèmes de recherche : rapide, peu coûteux et efficace sur les termes exacts.
Comment ça marche
BM25 est issu du cadre probabiliste de pertinence, résumé par Robertson et Zaragoza dans « The Probabilistic Relevance Framework: BM25 and Beyond » (2009). La classe Lucene précise qu’il a été introduit par Robertson, Walker, Jones et d’autres à TREC-3.
Pour chaque terme de la requête, BM25 combine trois signaux :
- Fréquence du terme : plus d’occurrences dans le document augmentent le score, mais avec des rendements décroissants.
- Fréquence inverse de document (IDF) : les termes rares comptent davantage. Lucene l’implémente ainsi :
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)). - Normalisation par la longueur : une correspondance dans un document court compte plus que la même dans un document long.
Deux paramètres l’ajustent. D’après la documentation d’Elasticsearch :
| Paramètre | Défaut | Ce qu’il règle |
|---|---|---|
k1 |
1,2 | « non-linear term frequency normalization (saturation) » (traduction : « normalisation non linéaire de la fréquence des termes (saturation) ») |
b |
0,75 | « to what degree document length normalizes tf values » (traduction : « dans quelle mesure la longueur du document normalise les valeurs tf ») |
BM25 est la similarité par défaut d’Elasticsearch.
Pourquoi c’est important
- Correspondances exactes. Codes produits, noms et messages d’erreur : c’est là que les embeddings sont les plus faibles et BM25 le plus fort.
- Coût. Il ne nécessite ni appel de modèle ni GPU, seulement un index inversé.
- Recherche hybride. La plupart des systèmes RAG en production l’associent à la recherche vectorielle ; voir recherche hybride.
Texte arabe et BM25
BM25 compare les tokens à l’identique : il dépend donc de la façon dont le texte est analysé. En arabe, un même mot peut s’écrire avec différentes formes d’alif, avec ou sans diacritiques, ou avec le teh marbuta (ة) écrit comme un heh (ه), et les articles et conjonctions s’attachent au mot. Sans normalisation du texte arabe ni racinisation, ces variantes ne correspondent pas.
L’analyseur arabic intégré à Elasticsearch enchaîne ces filtres : lowercase, decimal_digit, arabic_stop, arabic_normalization, un marqueur de mots-clés et arabic_stemmer. Normalisez requêtes et documents de la même manière. La normalisation du texte arabe pour la recherche teste les règles qui aident et celles qui nuisent, et l’outil normaliseur de texte arabe vous permet de les essayer sur votre propre texte.
Sur BroadNet Inference
BM25 s’exécute dans votre moteur de recherche, pas dans le LLM. BroadNet ne propose pas d’endpoints d’embeddings ou de reranking ; il sert les modèles de chat qui lisent ce que vous récupérez. Envoyez vos meilleurs résultats BM25 ou hybrides à un modèle comme Qwen3.8 27B via la Chat Completions API. La recherche RAG en arabe présente un pipeline complet.