BroadRouter
Başlayın

BM25

Güncellendi

BM25 (Okapi BM25), anahtar kelime araması için bir sıralama fonksiyonudur; bir belgeyi sorgu terimlerinin içinde ne sıklıkla geçtiğine, bu terimlerin koleksiyonda ne kadar nadir olduğuna ve belgenin uzunluğuna göre puanlar. Lucene ve Elasticsearch'te varsayılan benzerlik fonksiyonudur.

Diğer adları: BM25, BM25 algoritması, BM25 sıralama, sözcüksel arama, anahtar kelime araması, Okapi BM25, lexical search

BM25 çoğu arama sisteminin anahtar kelime yarısıdır: hızlı, ucuz ve tam terimlerde iyi.

Nasıl çalışır

BM25, Robertson ve Zaragoza’nın “The Probabilistic Relevance Framework: BM25 and Beyond” (2009) çalışmasında özetlediği olasılıksal alaka çerçevesinden gelir. Lucene’in sınıf belgesi, yöntemin TREC-3’te Robertson, Walker, Jones ve diğerleri tarafından tanıtıldığını belirtir.

BM25 her sorgu terimi için üç sinyali birleştirir:

  • Terim sıklığı: belgede daha fazla geçmek puanı artırır, ama azalan getiriyle.
  • Ters belge sıklığı (IDF): nadir terimler daha çok sayılır. Lucene bunu log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)) olarak uygular.
  • Uzunluk normalizasyonu: kısa bir belgedeki eşleşme, uzun bir belgedeki aynı eşleşmeden daha çok sayılır.

İki parametre onu ayarlar. Elasticsearch belgelerine göre:

Parametre Varsayılan Neyi kontrol eder
k1 1.2 “non-linear term frequency normalization (saturation)” (çeviri: doğrusal olmayan terim sıklığı normalizasyonu (doygunluk))
b 0.75 “to what degree document length normalizes tf values” (çeviri: belge uzunluğunun tf değerlerini ne ölçüde normalize ettiği)

BM25, Elasticsearch’te varsayılan benzerlik fonksiyonudur.

Neden önemli

  • Tam eşleşmeler. Ürün kodları, adlar ve hata mesajları, embedding’lerin en zayıf, BM25’in ise güçlü olduğu yerlerdir.
  • Maliyet. Model çağrısı veya GPU gerektirmez, yalnızca bir ters indeks gerekir.
  • Hibrit arama. Üretimdeki RAG sistemlerinin çoğu onu vektör aramasıyla eşleştirir; bkz. hibrit arama.

Arapça metin ve BM25

BM25 token’ları birebir eşleştirir; bu yüzden metnin nasıl çözümlendiğine bağlıdır. Arapçada aynı kelime farklı elif biçimleriyle, harekeli veya harekesiz ya da te marbuta (ة) he (ه) olarak yazılarak yazılabilir; tanımlıklar ve bağlaçlar da kelimeye bitişir. Arapça metin normalizasyonu ve kök bulma olmadan bu varyantlar eşleşmez.

Elasticsearch’ün yerleşik arabic çözümleyicisi şu filtreleri zincirler: lowercase, decimal_digit, arabic_stop, arabic_normalization, bir keyword işaretleyici ve arabic_stemmer. Sorguları ve belgeleri aynı şekilde normalize edin. Arama için Arapça metin normalizasyonu yazısı hangi kuralların yardımcı olduğunu, hangilerinin zarar verdiğini test eder; Arapça metin normalleştirici aracı da bunları kendi metninizde denemenizi sağlar.

BroadNet Inference’ta

BM25 LLM’de değil, arama motorunuzda çalışır. BroadNet embedding veya rerank uç noktaları sunmaz; getirdiğiniz içeriği okuyan sohbet modellerini sunar. En iyi BM25 veya hibrit sonuçlarınızı Chat Completions API üzerinden Qwen3.8 27B gibi bir modele gönderin. Arapça RAG araması eksiksiz bir işlem hattı gösterir.

Sık sorulan sorular

Embedding'lerim varken BM25 hâlâ işe yarar mı?

Evet. BM25, embedding'lerin bulanıklaştırabildiği adlar, kodlar ve hata dizeleri gibi tam terimlerde güçlüdür. Birçok RAG sistemi ikisini birlikte çalıştırır ve sonuçları hibrit aramayla birleştirir.

k1 ve b ne işe yarar?

k1, tekrarlanan terimlerin ne kadar çabuk puan eklemeyi bıraktığını (terim sıklığı doygunluğu) belirler. b, belge uzunluğunun ne ölçüde normalize edildiğini belirler. Lucene ve Elasticsearch varsayılan olarak k1 1.2 ve b 0.75 kullanır.

BM25 Arapçada çalışır mı?

Evet, metin önce Arapça için çözümlenirse. Normalizasyon ve kök bulma olmadan yazım varyantları ve bitişik ön ekler kelimelerin eşleşmesini engeller.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor