BM25 هو نصف الكلمات المفتاحية في معظم أنظمة البحث: سريع ورخيص وجيد في المصطلحات الدقيقة.
كيف يعمل
يأتي BM25 من إطار الصلة الاحتمالي، الذي لخّصه Robertson وZaragoza في «The Probabilistic Relevance Framework: BM25 and Beyond» (2009). وتذكر وثائق الصنف في Lucene أنه قُدِّم على يد Robertson وWalker وJones وآخرين في TREC-3.
لكل كلمة في الاستعلام، يجمع BM25 ثلاث إشارات:
- تكرار الكلمة: كثرة الظهور في المستند ترفع الدرجة، لكن بعائد متناقص.
- مقلوب تكرار المستندات (IDF): الكلمات النادرة تحسب أكثر. ويطبّقه Lucene بالصيغة
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)). - تطبيع الطول: التطابق في مستند قصير يحسب أكثر من التطابق نفسه في مستند طويل.
ويضبطه معاملان. من وثائق Elasticsearch:
| المعامل | القيمة الافتراضية | ما يتحكم فيه |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)” (ترجمة: التطبيع غير الخطي لتكرار الكلمة، أي التشبّع) |
b |
0.75 | “to what degree document length normalizes tf values” (ترجمة: إلى أي حد يطبّع طول المستند قيم tf) |
وBM25 هو مقياس التشابه الافتراضي في Elasticsearch.
لماذا يهم
- التطابق الدقيق. رموز المنتجات والأسماء ورسائل الأخطاء هي حيث تضعف التضمينات ويقوى BM25.
- التكلفة. لا يحتاج إلى استدعاء نماذج ولا إلى GPU، بل إلى فهرس معكوس فقط.
- البحث الهجين. معظم أنظمة RAG في بيئة الإنتاج تقرنه بالبحث المتجهي؛ راجع البحث الهجين.
النص العربي وBM25
يطابق BM25 الوحدات تطابقًا حرفيًا، لذا يعتمد على طريقة تحليل النص. وفي العربية قد تُكتب الكلمة نفسها بأشكال مختلفة للألف، وبالتشكيل أو بدونه، أو بالتاء المربوطة (ة) مكتوبة هاءً (ه)، كما تتصل أداة التعريف وحروف العطف بالكلمة. وبدون توحيد النص العربي والتجذيع، لا تتطابق هذه الصيغ.
ويسلسل المحلّل المدمج arabic في Elasticsearch هذه المرشّحات: lowercase وdecimal_digit وarabic_stop وarabic_normalization ومُعلِّم للكلمات المفتاحية وarabic_stemmer. وحّد الاستعلامات والمستندات بالطريقة نفسها. ويختبر مقال توحيد النص العربي للبحث القواعد التي تفيد والتي تضر، وتتيح لك أداة توحيد النص العربي تجربتها على نصك.
في BroadNet Inference
يعمل BM25 في محرك البحث لديك، لا في نموذج اللغة. ولا توفّر BroadNet نقاط نهاية للتضمينات أو لإعادة الترتيب؛ بل تقدّم نماذج المحادثة التي تقرأ ما تسترجعه. أرسل أفضل نتائج BM25 أو البحث الهجين إلى نموذج مثل Qwen3.8 27B عبر Chat Completions API. ويعرض البحث في RAG العربي سلسلة معالجة كاملة.