BM25 ialah separuh bahagian kata kunci dalam kebanyakan sistem carian: pantas, murah dan bagus untuk istilah tepat.
Cara ia berfungsi
BM25 berasal daripada rangka kerja relevans probabilistik, yang diringkaskan oleh Robertson dan Zaragoza dalam “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). Nota kelas Lucene menyatakan ia diperkenalkan oleh Robertson, Walker, Jones dan lain-lain di TREC-3.
Bagi setiap istilah pertanyaan, BM25 menggabungkan tiga isyarat:
- Kekerapan istilah (term frequency): lebih banyak kemunculan dalam dokumen menaikkan skor, tetapi dengan pulangan yang semakin berkurang.
- Inverse document frequency (IDF): istilah yang jarang lebih bernilai. Lucene melaksanakannya sebagai
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)). - Penormalan panjang: padanan dalam dokumen pendek lebih bernilai daripada padanan sama dalam dokumen panjang.
Dua parameter melaraskannya. Dokumentasi Elasticsearch:
| Parameter | Lalai | Apa yang dikawal |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)” (Terjemahan BroadRouter: “penormalan kekerapan istilah tak linear (ketepuan)”) |
b |
0.75 | “to what degree document length normalizes tf values” (Terjemahan BroadRouter: “sejauh mana panjang dokumen menormalkan nilai tf”) |
BM25 ialah similarity lalai dalam Elasticsearch.
Mengapa ia penting
- Padanan tepat. Kod produk, nama dan mesej ralat ialah tempat embedding paling lemah dan BM25 paling kuat.
- Kos. Ia tidak memerlukan panggilan model atau GPU, hanya indeks songsang (inverted index).
- Carian hibrid. Kebanyakan sistem RAG produksi menggandingkannya dengan carian vektor; lihat carian hibrid.
Teks Arab dan BM25
BM25 memadankan token secara tepat, jadi ia bergantung pada cara teks dianalisis. Dalam bahasa Arab, perkataan yang sama boleh ditulis dengan bentuk alif berbeza, dengan atau tanpa baris, atau dengan teh marbuta (ة) ditulis sebagai heh (ه), dan kata sandang serta kata hubung bercantum dengan perkataan. Tanpa penormalan teks Arab dan stemming, varian tersebut tidak sepadan.
Analyzer arabic terbina dalam Elasticsearch merangkaikan penapis ini: lowercase, decimal_digit, arabic_stop, arabic_normalization, penanda kata kunci, dan arabic_stemmer. Normalkan pertanyaan dan dokumen dengan cara yang sama. Penormalan teks Arab untuk carian menguji peraturan mana yang membantu dan mana yang merugikan, dan alat Arabic text normalizer membolehkan anda mencubanya pada teks anda sendiri.
Di BroadNet Inference
BM25 berjalan dalam enjin carian anda, bukan dalam LLM. BroadNet tidak menawarkan endpoint embedding atau rerank; ia menyajikan model chat yang membaca apa yang anda dapatkan semula. Hantar hasil BM25 atau hibrid teratas anda kepada model seperti Qwen3.8 27B melalui Chat Completions API. Carian RAG Arab menunjukkan pipeline penuh.