BM25 — это «ключевословная» половина большинства поисковых систем: быстрая, дешёвая и хорошая на точных терминах.
Как это работает
BM25 вырос из вероятностной модели релевантности, которую Robertson и Zaragoza обобщили в работе «The Probabilistic Relevance Framework: BM25 and Beyond» (2009). В описании класса в Lucene сказано, что функцию представили Robertson, Walker, Jones и другие на TREC-3.
Для каждого слова запроса BM25 объединяет три сигнала:
- Частота термина: чем чаще слово встречается в документе, тем выше балл, но с убывающей отдачей.
- Обратная частота документа (IDF): редкие термины весят больше. В Lucene она реализована как
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)). - Нормализация по длине: совпадение в коротком документе весит больше, чем такое же совпадение в длинном.
Настраивают её два параметра. Из документации Elasticsearch:
| Параметр | По умолчанию | Что задаёт |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)” (перевод: «нелинейная нормализация частоты термина (насыщение)») |
b |
0.75 | “to what degree document length normalizes tf values” (перевод: «в какой степени длина документа нормализует значения tf») |
BM25 — сходство по умолчанию в Elasticsearch.
Почему это важно
- Точные совпадения. Коды товаров, имена и сообщения об ошибках — то, где эмбеддинги слабее всего, а BM25 силён.
- Стоимость. Ему не нужны ни вызовы модели, ни GPU — только инвертированный индекс.
- Гибридный поиск. Большинство RAG-систем в продакшене сочетают его с векторным поиском; см. гибридный поиск.
Арабский текст и BM25
BM25 сопоставляет токены точно, поэтому всё зависит от того, как анализируется текст. В арабском одно и то же слово можно написать с разными формами алифа, с огласовками или без них, с та марбутой (ة), записанной как ха (ه), а артикли и союзы пишутся слитно со словом. Без нормализации арабского текста и стемминга эти варианты не совпадут.
Встроенный анализатор arabic в Elasticsearch выстраивает цепочку фильтров: lowercase, decimal_digit, arabic_stop, arabic_normalization, маркер ключевых слов и arabic_stemmer. Нормализуйте запросы и документы одинаково. В статье о нормализации арабского текста для поиска проверено, какие правила помогают, а какие вредят, а инструмент нормализатор арабского текста позволяет опробовать их на своём тексте.
В BroadNet Inference
BM25 работает в вашем поисковом движке, а не в LLM. Эндпоинтов для эмбеддингов или реранкинга BroadNet не предлагает; она обслуживает чат-модели, которые читают найденное вами. Отправляйте лучшие результаты BM25 или гибридного поиска модели вроде Qwen3.8 27B через Chat Completions API. Полный конвейер показан в статье о поиске для арабского RAG.