BM25 è la metà “parole chiave” della maggior parte dei sistemi di ricerca: veloce, economico e bravo con i termini esatti.
Come funziona
BM25 nasce dal probabilistic relevance framework, riassunto da Robertson e Zaragoza in “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). La classe di Lucene ricorda che è stato introdotto da Robertson, Walker, Jones e altri a TREC-3.
Per ogni termine della query, BM25 combina tre segnali:
- Frequenza del termine: più occorrenze nel documento alzano il punteggio, ma con rendimenti decrescenti.
- Frequenza inversa nei documenti (IDF): i termini rari contano di più. Lucene la implementa come
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)). - Normalizzazione per lunghezza: una corrispondenza in un documento breve conta più della stessa corrispondenza in uno lungo.
Due parametri lo regolano. Dalla documentazione di Elasticsearch:
| Parametro | Default | Cosa controlla |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)” (traduzione: normalizzazione non lineare della frequenza del termine, saturazione) |
b |
0.75 | “to what degree document length normalizes tf values” (traduzione: in che misura la lunghezza del documento normalizza i valori di tf) |
BM25 è la similarità predefinita in Elasticsearch.
Perché è importante
- Corrispondenze esatte. Codici prodotto, nomi e messaggi di errore sono il punto in cui gli embedding sono più deboli e BM25 è forte.
- Costo. Non richiede chiamate a modelli né GPU, solo un indice invertito.
- Ricerca ibrida. La maggior parte dei sistemi RAG in produzione lo abbina alla ricerca vettoriale; vedi ricerca ibrida.
Testo arabo e BM25
BM25 confronta i token in modo esatto, quindi dipende da come il testo viene analizzato. In arabo la stessa parola può essere scritta con forme diverse di alef, con o senza diacritici, o con la teh marbuta (ة) scritta come heh (ه), e articoli e congiunzioni si attaccano alla parola. Senza normalizzazione del testo arabo e stemming, queste varianti non combaciano.
L’analyzer arabic integrato in Elasticsearch concatena questi filtri: lowercase, decimal_digit, arabic_stop, arabic_normalization, un keyword marker e arabic_stemmer. Normalizza query e documenti nello stesso modo. Normalizzazione del testo arabo per la ricerca verifica quali regole aiutano e quali peggiorano, e lo strumento normalizzatore di testo arabo ti fa provare sul tuo testo.
Su BroadNet Inference
BM25 gira nel tuo motore di ricerca, non nell’LLM. BroadNet non offre endpoint per embedding o rerank; serve i modelli di chat che leggono ciò che recuperi. Invia i migliori risultati BM25 o ibridi a un modello come Qwen3.8 27B tramite la Chat Completions API. Ricerca RAG in arabo mostra una pipeline completa.