BroadRouter
شروع کریں

BM25

اپ ڈیٹ

BM25 (Okapi BM25) کی ورڈ سرچ کا ایک رینکنگ فنکشن ہے جو دستاویز کو تین باتوں سے اسکور کرتا ہے: کوئری کے الفاظ اس میں کتنی بار آتے ہیں، وہ پورے مجموعے میں کتنے نایاب ہیں، اور دستاویز کتنی لمبی ہے۔ یہ Lucene اور Elasticsearch کی ڈیفالٹ similarity ہے۔

دوسرے نام: bm25 kya hai، bm25 algorithm، کی ورڈ سرچ رینکنگ، Okapi BM25، lexical search

BM25 زیادہ تر سرچ سسٹمز کا کی ورڈ والا حصہ ہے: تیز، سستا اور exact الفاظ میں اچھا۔

یہ کیسے کام کرتا ہے

BM25 probabilistic relevance framework سے آتا ہے، جس کا خلاصہ Robertson اور Zaragoza نے “The Probabilistic Relevance Framework: BM25 and Beyond” (2009) میں پیش کیا۔ Lucene کی کلاس بتاتی ہے کہ اسے Robertson، Walker، Jones اور دوسروں نے TREC-3 میں متعارف کرایا تھا۔

کوئری کے ہر لفظ کے لیے BM25 تین اشارے جوڑتا ہے:

  • Term frequency: دستاویز میں زیادہ بار آنے سے اسکور بڑھتا ہے، مگر گھٹتے فائدے کے ساتھ۔
  • Inverse document frequency (IDF): نایاب الفاظ زیادہ گنے جاتے ہیں۔ Lucene اسے log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)) کے طور پر نافذ کرتا ہے۔
  • لمبائی کی نارملائزیشن: چھوٹی دستاویز میں میچ، لمبی دستاویز میں اسی میچ سے زیادہ گنا جاتا ہے۔

دو پیرامیٹر اسے ٹیون کرتے ہیں۔ Elasticsearch کی دستاویزات:

پیرامیٹر ڈیفالٹ کیا کنٹرول کرتا ہے
k1 1.2 “non-linear term frequency normalization (saturation)” (ترجمہ: term frequency کی non-linear نارملائزیشن، یعنی saturation)
b 0.75 “to what degree document length normalizes tf values” (ترجمہ: دستاویز کی لمبائی tf قدروں کو کس حد تک نارملائز کرے)

BM25 Elasticsearch کی ڈیفالٹ similarity ہے۔

یہ کیوں اہم ہے

  • Exact میچ۔ پروڈکٹ کوڈ، نام اور ایرر میسجز وہ جگہ ہیں جہاں embeddings سب سے کمزور اور BM25 مضبوط ہے۔
  • لاگت۔ اسے کسی ماڈل کال یا GPU کی ضرورت نہیں، صرف ایک inverted index چاہیے۔
  • Hybrid search۔ زیادہ تر پروڈکشن RAG سسٹم اسے vector search کے ساتھ جوڑتے ہیں؛ hybrid search دیکھیں۔

عربی متن اور BM25

BM25 ٹوکنز کو exact ملاتا ہے، اس لیے یہ اس پر منحصر ہے کہ متن کیسے analyze ہوا۔ عربی میں ایک ہی لفظ الف کی مختلف شکلوں میں، اعراب کے ساتھ یا بغیر، یا تائے مربوطہ (ة) کو ہائے (ه) لکھ کر لکھا جا سکتا ہے، اور حروفِ تعریف اور حروفِ عطف لفظ سے جڑ جاتے ہیں۔ عربی متن کی نارملائزیشن اور stemming کے بغیر یہ شکلیں میچ نہیں ہوتیں۔

Elasticsearch کا بلٹ اِن arabic analyzer یہ فلٹرز ترتیب سے لگاتا ہے: lowercase، decimal_digit، arabic_stop، arabic_normalization، ایک keyword marker، اور arabic_stemmer۔ کوئریز اور دستاویزات کو ایک ہی طرح نارملائز کریں۔ سرچ کے لیے عربی متن کی نارملائزیشن آزماتی ہے کہ کون سے اصول مدد کرتے ہیں اور کون سے نقصان، اور عربی ٹیکسٹ نارملائزر ٹول سے آپ انہیں اپنے متن پر آزما سکتے ہیں۔

BroadNet Inference پر

BM25 آپ کے سرچ انجن میں چلتا ہے، LLM میں نہیں۔ BroadNet embeddings یا rerank اینڈپوائنٹس نہیں دیتا؛ وہ چیٹ ماڈل سرو کرتا ہے جو آپ کا نکالا ہوا متن پڑھتے ہیں۔ اپنے ٹاپ BM25 یا hybrid نتائج Chat Completions API کے ذریعے Qwen3.8 27B جیسے ماڈل کو بھیجیں۔ عربی RAG سرچ پوری پائپ لائن دکھاتی ہے۔

عام سوالات

embeddings ہونے پر بھی کیا BM25 کارآمد ہے؟

ہاں۔ BM25 نام، کوڈ اور ایرر اسٹرنگز جیسے exact الفاظ پر مضبوط ہے، جنہیں embeddings دھندلا سکتی ہیں۔ کئی RAG سسٹم دونوں چلاتے ہیں اور hybrid search سے نتائج ملاتے ہیں۔

k1 اور b کیا کرتے ہیں؟

k1 طے کرتا ہے کہ دہرائے گئے الفاظ کتنی جلدی اسکور بڑھانا بند کریں (term frequency saturation)۔ b طے کرتا ہے کہ دستاویز کی لمبائی کتنی نارملائز ہو۔ Lucene اور Elasticsearch میں ڈیفالٹ k1 1.2 اور b 0.75 ہے۔

کیا BM25 عربی کے لیے کام کرتا ہے؟

ہاں، اگر متن پہلے عربی کے لیے analyze کیا گیا ہو۔ نارملائزیشن اور stemming کے بغیر املا کے فرق اور جڑے ہوئے سابقے الفاظ کو میچ ہونے سے روکتے ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں