BroadRouter
Mulai

BM25

Diperbarui

BM25 (Okapi BM25) adalah fungsi ranking untuk pencarian kata kunci yang menilai dokumen berdasarkan seberapa sering istilah kueri muncul di dalamnya, seberapa langka istilah itu di seluruh koleksi, dan panjang dokumennya. BM25 adalah similarity default di Lucene dan Elasticsearch.

Disebut juga: BM25, algoritma BM25, ranking BM25, pencarian leksikal, pencarian kata kunci, Okapi BM25, lexical search

BM25 adalah separuh bagian kata kunci dari sebagian besar sistem pencarian: cepat, murah, dan andal untuk istilah persis.

Cara kerjanya

BM25 berasal dari probabilistic relevance framework, yang dirangkum Robertson dan Zaragoza dalam “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). Dokumentasi kelas Lucene mencatat bahwa BM25 diperkenalkan oleh Robertson, Walker, Jones, dan lainnya di TREC-3.

Untuk setiap istilah kueri, BM25 menggabungkan tiga sinyal:

  • Frekuensi istilah: kemunculan yang lebih sering di dokumen menaikkan skor, tetapi dengan imbal hasil yang menurun.
  • Inverse document frequency (IDF): istilah langka bernilai lebih tinggi. Lucene mengimplementasikannya sebagai log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)).
  • Normalisasi panjang: kecocokan di dokumen pendek bernilai lebih tinggi daripada kecocokan yang sama di dokumen panjang.

Dua parameter menyetelnya. Menurut dokumentasi Elasticsearch:

Parameter Default Yang dikendalikan
k1 1.2 “non-linear term frequency normalization (saturation)” (terjemahan: normalisasi frekuensi istilah non-linear (saturasi))
b 0.75 “to what degree document length normalizes tf values” (terjemahan: sejauh mana panjang dokumen menormalisasi nilai tf)

BM25 adalah similarity default di Elasticsearch.

Kenapa ini penting

  • Kecocokan persis. Kode produk, nama, dan pesan error adalah titik terlemah embeddings dan titik kuat BM25.
  • Biaya. Tidak perlu panggilan model atau GPU, cukup inverted index.
  • Hybrid search. Sebagian besar sistem RAG produksi memasangkannya dengan pencarian vektor; lihat hybrid search.

Teks Arab dan BM25

BM25 mencocokkan token secara persis, jadi hasilnya bergantung pada cara teks dianalisis. Dalam bahasa Arab, kata yang sama bisa ditulis dengan bentuk alif berbeda, dengan atau tanpa harakat, atau dengan ta marbutah (ة) ditulis sebagai ha (ه), dan kata sandang serta kata sambung menempel pada kata. Tanpa normalisasi teks Arab dan stemming, varian-varian itu tidak cocok.

Analyzer bawaan arabic di Elasticsearch merangkai filter berikut: lowercase, decimal_digit, arabic_stop, arabic_normalization, keyword marker, dan arabic_stemmer. Normalisasi kueri dan dokumen dengan cara yang sama. Normalisasi teks Arab untuk pencarian menguji aturan mana yang membantu dan mana yang merugikan, dan alat normalizer teks Arab memungkinkan Anda mencobanya pada teks Anda sendiri.

Di BroadNet Inference

BM25 berjalan di mesin pencari Anda, bukan di LLM. BroadNet tidak menyediakan endpoint embeddings atau rerank; BroadNet menyajikan model chat yang membaca apa yang Anda ambil. Kirim hasil teratas BM25 atau hybrid Anda ke model seperti Qwen3.8 27B melalui Chat Completions API. Pencarian RAG bahasa Arab menunjukkan pipeline lengkapnya.

Pertanyaan umum

Apakah BM25 masih berguna kalau saya sudah punya embedding?

Ya. BM25 kuat pada istilah persis seperti nama, kode, dan string error yang bisa dikaburkan oleh embedding. Banyak sistem RAG menjalankan keduanya dan menggabungkan hasilnya dengan hybrid search.

Apa fungsi k1 dan b?

k1 mengatur seberapa cepat istilah yang berulang berhenti menambah skor (saturasi frekuensi istilah). b mengatur seberapa besar panjang dokumen dinormalisasi. Lucene dan Elasticsearch memakai default k1 1.2 dan b 0.75.

Apakah BM25 bisa dipakai untuk bahasa Arab?

Bisa, asalkan teks dianalisis untuk bahasa Arab lebih dulu. Tanpa normalisasi dan stemming, varian ejaan dan prefiks yang menempel membuat kata tidak cocok.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity