BM25 ज़्यादातर सर्च सिस्टम का कीवर्ड वाला हिस्सा है: तेज़, सस्ता और exact शब्दों में अच्छा।
यह कैसे काम करता है
BM25 probabilistic relevance framework से आता है, जिसका सार Robertson और Zaragoza ने “The Probabilistic Relevance Framework: BM25 and Beyond” (2009) में दिया। Lucene की क्लास बताती है कि इसे Robertson, Walker, Jones और दूसरों ने TREC-3 में पेश किया था।
क्वेरी के हर शब्द के लिए BM25 तीन संकेत जोड़ता है:
- Term frequency: दस्तावेज़ में ज़्यादा बार आने से स्कोर बढ़ता है, लेकिन घटते फ़ायदे के साथ।
- Inverse document frequency (IDF): दुर्लभ शब्द ज़्यादा गिने जाते हैं। Lucene इसे
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5))के रूप में लागू करता है। - लंबाई नॉर्मलाइज़ेशन: छोटे दस्तावेज़ में मैच, लंबे दस्तावेज़ में उसी मैच से ज़्यादा गिना जाता है।
दो पैरामीटर इसे ट्यून करते हैं। Elasticsearch के डॉक्स:
| पैरामीटर | डिफ़ॉल्ट | क्या नियंत्रित करता है |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)” (अनुवाद: term frequency का non-linear नॉर्मलाइज़ेशन, यानी saturation) |
b |
0.75 | “to what degree document length normalizes tf values” (अनुवाद: दस्तावेज़ की लंबाई tf मानों को किस हद तक नॉर्मलाइज़ करे) |
BM25 Elasticsearch की डिफ़ॉल्ट similarity है।
यह क्यों मायने रखता है
- Exact मैच। प्रोडक्ट कोड, नाम और एरर मैसेज वहाँ हैं जहाँ embeddings सबसे कमज़ोर और BM25 मज़बूत है।
- लागत। इसे किसी मॉडल कॉल या GPU की ज़रूरत नहीं, सिर्फ़ एक inverted index चाहिए।
- Hybrid search। ज़्यादातर प्रोडक्शन RAG सिस्टम इसे vector search के साथ जोड़ते हैं; hybrid search देखें।
अरबी टेक्स्ट और BM25
BM25 टोकन exact मिलाता है, इसलिए यह इस पर निर्भर है कि टेक्स्ट कैसे analyze हुआ। अरबी में एक ही शब्द alef के अलग रूपों में, डायक्रिटिक्स के साथ या बिना, या teh marbuta (ة) को heh (ه) लिखकर लिखा जा सकता है, और articles और conjunctions शब्द से जुड़ जाते हैं। अरबी टेक्स्ट नॉर्मलाइज़ेशन और stemming के बिना ये रूप मेल नहीं खाते।
Elasticsearch का बिल्ट-इन arabic analyzer ये फ़िल्टर क्रम से लगाता है: lowercase, decimal_digit, arabic_stop, arabic_normalization, एक keyword marker, और arabic_stemmer। क्वेरी और दस्तावेज़ों को एक ही तरह नॉर्मलाइज़ करें। सर्च के लिए अरबी टेक्स्ट नॉर्मलाइज़ेशन टेस्ट करता है कि कौन-से नियम मदद करते हैं और कौन-से नुक़सान, और अरबी टेक्स्ट नॉर्मलाइज़र टूल से आप उन्हें अपने टेक्स्ट पर आज़मा सकते हैं।
BroadNet Inference पर
BM25 आपके सर्च इंजन में चलता है, LLM में नहीं। BroadNet embeddings या rerank एंडपॉइंट नहीं देता; वह चैट मॉडल सर्व करता है जो आपका निकाला हुआ टेक्स्ट पढ़ते हैं। अपने टॉप BM25 या hybrid नतीजे Chat Completions API से Qwen3.8 27B जैसे मॉडल को भेजें। अरबी RAG सर्च पूरी पाइपलाइन दिखाती है।