BroadRouter
Loslegen

BM25

Aktualisiert

BM25 (Okapi BM25) ist eine Rankingfunktion für die Stichwortsuche, die ein Dokument danach bewertet, wie oft die Suchbegriffe darin vorkommen, wie selten diese Begriffe in der gesamten Sammlung sind und wie lang das Dokument ist. Sie ist die Standard-Ähnlichkeit in Lucene und Elasticsearch.

Auch genannt: BM25, Okapi BM25, BM25-Ranking, lexikalische Suche, lexical search

BM25 ist die Stichwort-Hälfte der meisten Suchsysteme: schnell, günstig und gut bei exakten Begriffen.

So funktioniert es

BM25 stammt aus dem probabilistischen Relevanz-Framework, das Robertson und Zaragoza in „The Probabilistic Relevance Framework: BM25 and Beyond“ (2009) zusammenfassen. Die Lucene-Klasse vermerkt, dass es von Robertson, Walker, Jones und anderen bei TREC-3 eingeführt wurde.

Für jeden Suchbegriff kombiniert BM25 drei Signale:

  • Termhäufigkeit: Mehr Vorkommen im Dokument erhöhen den Score, aber mit abnehmendem Ertrag.
  • Inverse Dokumenthäufigkeit (IDF): Seltene Begriffe zählen mehr. Lucene implementiert sie als log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)).
  • Längennormalisierung: Ein Treffer in einem kurzen Dokument zählt mehr als derselbe Treffer in einem langen.

Zwei Parameter stimmen es ab. Aus der Dokumentation von Elasticsearch:

Parameter Standard Was er steuert
k1 1,2 „non-linear term frequency normalization (saturation)“ (Übersetzung: „nichtlineare Normalisierung der Termhäufigkeit (Sättigung)“)
b 0,75 „to what degree document length normalizes tf values“ (Übersetzung: „in welchem Maß die Dokumentlänge die tf-Werte normalisiert“)

BM25 ist die Standard-Ähnlichkeit in Elasticsearch.

Warum es wichtig ist

  • Exakte Treffer. Produktcodes, Namen und Fehlermeldungen sind genau dort, wo Embeddings am schwächsten sind und BM25 stark ist.
  • Kosten. Es braucht keine Modellaufrufe und keine GPU, nur einen invertierten Index.
  • Hybride Suche. Die meisten produktiven RAG-Systeme kombinieren es mit Vektorsuche; siehe hybride Suche.

Arabischer Text und BM25

BM25 gleicht Tokens exakt ab und hängt deshalb davon ab, wie Text analysiert wird. Im Arabischen kann dasselbe Wort mit verschiedenen Alef-Formen geschrieben werden, mit oder ohne Diakritika oder mit Teh marbuta (ة) als Heh (ه), und Artikel und Konjunktionen hängen am Wort. Ohne arabische Textnormalisierung und Stemming stimmen diese Varianten nicht überein.

Der eingebaute arabic-Analyzer von Elasticsearch verkettet diese Filter: lowercase, decimal_digit, arabic_stop, arabic_normalization, einen Keyword-Marker und arabic_stemmer. Normalisieren Sie Anfragen und Dokumente auf dieselbe Weise. Arabische Textnormalisierung für die Suche testet, welche Regeln helfen und welche schaden, und mit dem Tool Normalisierer für arabischen Text probieren Sie sie an Ihrem eigenen Text aus.

Bei BroadNet Inference

BM25 läuft in Ihrer Suchmaschine, nicht im LLM. BroadNet bietet keine Endpoints für Embeddings oder Reranking an; es liefert die Chat-Modelle aus, die lesen, was Sie abrufen. Senden Sie Ihre besten BM25- oder Hybrid-Treffer über die Chat Completions API an ein Modell wie Qwen3.8 27B. Arabische RAG-Suche zeigt eine vollständige Pipeline.

Häufige Fragen

Ist BM25 noch nützlich, wenn ich Embeddings habe?

Ja. BM25 ist stark bei exakten Begriffen wie Namen, Codes und Fehlermeldungen, die Embeddings verwischen können. Viele RAG-Systeme nutzen beides und führen die Ergebnisse per hybrider Suche zusammen.

Was bewirken k1 und b?

k1 steuert, wie schnell wiederholte Begriffe keinen zusätzlichen Score mehr bringen (Sättigung der Termhäufigkeit). b steuert, wie stark die Dokumentlänge normalisiert wird. Lucene und Elasticsearch nutzen standardmäßig k1 1,2 und b 0,75.

Funktioniert BM25 für Arabisch?

Ja, wenn der Text vorher für Arabisch analysiert wird. Ohne Normalisierung und Stemming verhindern Schreibvarianten und angehängte Präfixe, dass Wörter übereinstimmen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen