BM25 ist die Stichwort-Hälfte der meisten Suchsysteme: schnell, günstig und gut bei exakten Begriffen.
So funktioniert es
BM25 stammt aus dem probabilistischen Relevanz-Framework, das Robertson und Zaragoza in „The Probabilistic Relevance Framework: BM25 and Beyond“ (2009) zusammenfassen. Die Lucene-Klasse vermerkt, dass es von Robertson, Walker, Jones und anderen bei TREC-3 eingeführt wurde.
Für jeden Suchbegriff kombiniert BM25 drei Signale:
- Termhäufigkeit: Mehr Vorkommen im Dokument erhöhen den Score, aber mit abnehmendem Ertrag.
- Inverse Dokumenthäufigkeit (IDF): Seltene Begriffe zählen mehr. Lucene implementiert sie als
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)). - Längennormalisierung: Ein Treffer in einem kurzen Dokument zählt mehr als derselbe Treffer in einem langen.
Zwei Parameter stimmen es ab. Aus der Dokumentation von Elasticsearch:
| Parameter | Standard | Was er steuert |
|---|---|---|
k1 |
1,2 | „non-linear term frequency normalization (saturation)“ (Übersetzung: „nichtlineare Normalisierung der Termhäufigkeit (Sättigung)“) |
b |
0,75 | „to what degree document length normalizes tf values“ (Übersetzung: „in welchem Maß die Dokumentlänge die tf-Werte normalisiert“) |
BM25 ist die Standard-Ähnlichkeit in Elasticsearch.
Warum es wichtig ist
- Exakte Treffer. Produktcodes, Namen und Fehlermeldungen sind genau dort, wo Embeddings am schwächsten sind und BM25 stark ist.
- Kosten. Es braucht keine Modellaufrufe und keine GPU, nur einen invertierten Index.
- Hybride Suche. Die meisten produktiven RAG-Systeme kombinieren es mit Vektorsuche; siehe hybride Suche.
Arabischer Text und BM25
BM25 gleicht Tokens exakt ab und hängt deshalb davon ab, wie Text analysiert wird. Im Arabischen kann dasselbe Wort mit verschiedenen Alef-Formen geschrieben werden, mit oder ohne Diakritika oder mit Teh marbuta (ة) als Heh (ه), und Artikel und Konjunktionen hängen am Wort. Ohne arabische Textnormalisierung und Stemming stimmen diese Varianten nicht überein.
Der eingebaute arabic-Analyzer von Elasticsearch verkettet diese Filter: lowercase, decimal_digit, arabic_stop, arabic_normalization, einen Keyword-Marker und arabic_stemmer. Normalisieren Sie Anfragen und Dokumente auf dieselbe Weise. Arabische Textnormalisierung für die Suche testet, welche Regeln helfen und welche schaden, und mit dem Tool Normalisierer für arabischen Text probieren Sie sie an Ihrem eigenen Text aus.
Bei BroadNet Inference
BM25 läuft in Ihrer Suchmaschine, nicht im LLM. BroadNet bietet keine Endpoints für Embeddings oder Reranking an; es liefert die Chat-Modelle aus, die lesen, was Sie abrufen. Senden Sie Ihre besten BM25- oder Hybrid-Treffer über die Chat Completions API an ein Modell wie Qwen3.8 27B. Arabische RAG-Suche zeigt eine vollständige Pipeline.