BroadRouter
Magsimula

BM25

Na-update

Ang BM25 (Okapi BM25) ay ranking function para sa keyword search na nagbibigay ng score sa dokumento batay sa kung gaano kadalas lumalabas dito ang mga termino ng query, kung gaano kabihira ang mga terminong iyon sa buong collection, at kung gaano kahaba ang dokumento. Ito ang default na similarity sa Lucene at Elasticsearch.

Tinatawag ding: Okapi BM25, lexical search, keyword search, BM25 ranking

BM25 ang keyword na kalahati ng karamihan ng search system: mabilis, mura at magaling sa eksaktong termino.

Paano ito gumagana

Galing ang BM25 sa probabilistic relevance framework, na ibinuod nina Robertson at Zaragoza sa “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). Ayon sa class notes ng Lucene, ipinakilala ito nina Robertson, Walker, Jones at iba pa sa TREC-3.

Para sa bawat termino ng query, pinagsasama ng BM25 ang tatlong signal:

  • Term frequency: tumataas ang score kapag mas madalas lumabas sa dokumento, pero paliit nang paliit ang dagdag.
  • Inverse document frequency (IDF): mas mabigat ang mga bihirang termino. Ganito ito ipinapatupad ng Lucene: log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)).
  • Length normalization: mas mabigat ang match sa maikling dokumento kaysa sa parehong match sa mahaba.

Dalawang parameter ang nagtu-tune dito. Mula sa docs ng Elasticsearch:

Parameter Default Ano ang kinokontrol
k1 1.2 “non-linear term frequency normalization (saturation)” (Salin ng BroadRouter: “non-linear na normalization ng term frequency (saturation)”)
b 0.75 “to what degree document length normalizes tf values” (Salin ng BroadRouter: “kung gaano nino-normalize ng haba ng dokumento ang mga tf value”)

BM25 ang default na similarity sa Elasticsearch.

Bakit ito mahalaga

  • Eksaktong match. Sa mga product code, pangalan at error message pinakamahina ang embeddings at pinakamalakas ang BM25.
  • Gastos. Hindi nito kailangan ng model call o GPU, inverted index lang.
  • Hybrid search. Ipinapares ito sa vector search ng karamihan ng production RAG system; tingnan ang hybrid search.

Arabic text at BM25

Eksaktong token ang mina-match ng BM25, kaya nakadepende ito sa pag-analyze ng text. Sa Arabic, puwedeng isulat ang parehong salita gamit ang iba’t ibang anyo ng alef, may diacritics man o wala, o ang teh marbuta (ة) na isinulat bilang heh (ه), at nakadikit sa salita ang mga article at conjunction. Kapag walang Arabic text normalization at stemming, hindi magma-match ang mga variant na iyon.

Pinagdudugtong ng built-in na arabic analyzer ng Elasticsearch ang mga filter na ito: lowercase, decimal_digit, arabic_stop, arabic_normalization, isang keyword marker, at arabic_stemmer. Pareho dapat ang pag-normalize sa mga query at dokumento. Sinusubok ng Arabic text normalization para sa search kung aling mga rule ang nakatutulong at alin ang nakasasama, at hinahayaan ka ng tool na Arabic text normalizer na subukan ang mga ito sa sarili mong text.

Sa BroadNet Inference

Sa search engine mo tumatakbo ang BM25, hindi sa LLM. Walang embeddings o rerank endpoint ang BroadNet; sine-serve nito ang mga chat model na nagbabasa ng mga na-retrieve mo. Ipadala ang mga nangungunang resulta ng BM25 o hybrid search sa model gaya ng Qwen3.8 27B sa Chat Completions API. Ipinapakita ng Arabic RAG search ang buong pipeline.

Mga tanong

Kapaki-pakinabang pa ba ang BM25 kung may embeddings na ako?

Oo. Malakas ang BM25 sa eksaktong termino gaya ng mga pangalan, code at error string na puwedeng lumabo sa embeddings. Maraming RAG system ang nagpapatakbo ng dalawa at pinagsasama ang resulta gamit ang hybrid search.

Ano ang ginagawa ng k1 at b?

Kinokontrol ng k1 kung gaano kabilis huminto sa pagdagdag ng score ang paulit-ulit na termino (term frequency saturation). Kinokontrol ng b kung gaano kalaki ang normalization batay sa haba ng dokumento. Default sa Lucene at Elasticsearch ang k1 na 1.2 at b na 0.75.

Gumagana ba ang BM25 sa Arabic?

Oo, kung ina-analyze muna ang text para sa Arabic. Kapag walang normalization at stemming, hindi magma-match ang mga salita dahil sa mga variant ng spelling at nakadikit na prefix.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity