BM25 adalah separuh bagian kata kunci dari sebagian besar sistem pencarian: cepat, murah, dan andal untuk istilah persis.
Cara kerjanya
BM25 berasal dari probabilistic relevance framework, yang dirangkum Robertson dan Zaragoza dalam “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). Dokumentasi kelas Lucene mencatat bahwa BM25 diperkenalkan oleh Robertson, Walker, Jones, dan lainnya di TREC-3.
Untuk setiap istilah kueri, BM25 menggabungkan tiga sinyal:
- Frekuensi istilah: kemunculan yang lebih sering di dokumen menaikkan skor, tetapi dengan imbal hasil yang menurun.
- Inverse document frequency (IDF): istilah langka bernilai lebih tinggi. Lucene mengimplementasikannya sebagai
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)). - Normalisasi panjang: kecocokan di dokumen pendek bernilai lebih tinggi daripada kecocokan yang sama di dokumen panjang.
Dua parameter menyetelnya. Menurut dokumentasi Elasticsearch:
| Parameter | Default | Yang dikendalikan |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)” (terjemahan: normalisasi frekuensi istilah non-linear (saturasi)) |
b |
0.75 | “to what degree document length normalizes tf values” (terjemahan: sejauh mana panjang dokumen menormalisasi nilai tf) |
BM25 adalah similarity default di Elasticsearch.
Kenapa ini penting
- Kecocokan persis. Kode produk, nama, dan pesan error adalah titik terlemah embeddings dan titik kuat BM25.
- Biaya. Tidak perlu panggilan model atau GPU, cukup inverted index.
- Hybrid search. Sebagian besar sistem RAG produksi memasangkannya dengan pencarian vektor; lihat hybrid search.
Teks Arab dan BM25
BM25 mencocokkan token secara persis, jadi hasilnya bergantung pada cara teks dianalisis. Dalam bahasa Arab, kata yang sama bisa ditulis dengan bentuk alif berbeda, dengan atau tanpa harakat, atau dengan ta marbutah (ة) ditulis sebagai ha (ه), dan kata sandang serta kata sambung menempel pada kata. Tanpa normalisasi teks Arab dan stemming, varian-varian itu tidak cocok.
Analyzer bawaan arabic di Elasticsearch merangkai filter berikut: lowercase, decimal_digit, arabic_stop, arabic_normalization, keyword marker, dan arabic_stemmer. Normalisasi kueri dan dokumen dengan cara yang sama. Normalisasi teks Arab untuk pencarian menguji aturan mana yang membantu dan mana yang merugikan, dan alat normalizer teks Arab memungkinkan Anda mencobanya pada teks Anda sendiri.
Di BroadNet Inference
BM25 berjalan di mesin pencari Anda, bukan di LLM. BroadNet tidak menyediakan endpoint embeddings atau rerank; BroadNet menyajikan model chat yang membaca apa yang Anda ambil. Kirim hasil teratas BM25 atau hybrid Anda ke model seperti Qwen3.8 27B melalui Chat Completions API. Pencarian RAG bahasa Arab menunjukkan pipeline lengkapnya.