BroadRouter

Гибридный поиск (hybrid search)

Обновлено

Гибридный поиск — это метод извлечения, который по одному запросу выполняет поиск по ключевым словам, например BM25, и векторный поиск по эмбеддингам, а затем сливает два ранжированных списка в один, часто с помощью reciprocal rank fusion (RRF) или взвешенной суммы нормализованных оценок.

Также называют: гибридный поиск, гибридное извлечение, гибридный поиск в RAG, BM25 и векторный поиск, слияние рангов, hybrid search, hybrid retrieval, reciprocal rank fusion, RRF

Поиск по ключевым словам находит точные слова. Векторный поиск находит смысл. Гибридный поиск запускает оба и объединяет результаты.

Как это работает

Запрос одновременно уходит в два ретривера:

  • По ключевым словам: BM25 по инвертированному индексу. Силён на именах, кодах и редких терминах.
  • Векторный: поиск ближайших соседей по эмбеддингам в векторной базе данных. Силён на перефразах и синонимах.

Оценки двух ретриверов живут в разных шкалах, поэтому большинство систем объединяют их по рангу или по нормализованной оценке.

Reciprocal rank fusion (RRF) из работы Cormack, Clarke и Büttcher (SIGIR 2009) суммирует слагаемые по каждому списку, в котором встречается документ. Elasticsearch описывает цикл как score += 1.0 / (k + rank(result(q), d)), где константа ранга k по умолчанию равна 60. В документации сказано: “RRF requires no tuning.” (перевод: «RRF не требует настройки».)

Пример расчёта при k = 60:

Документ Ранг в BM25 Ранг в векторном поиске Оценка RRF
A 1 3 1/61 + 1/63 = 0,0323
B 2 1 1/62 + 1/61 = 0,0325
C не найден 2 1/62 = 0,0161

B побеждает, потому что оба ретривера ставят его высоко.

Взвешенное слияние — второй распространённый метод. Метод Weaviate по умолчанию начиная с v1.24, relativeScoreFusion, нормализует оценки каждого поиска и складывает их с весами. Параметр alpha задаёт баланс: 0 — только ключевые слова, 1 — только векторы, 0,75 — значение по умолчанию на сервере. Документация рекомендует задавать alpha явно: значение 0,75 по умолчанию применяется, только если запрос доходит до сервера без alpha, а не каждая клиентская библиотека оставляет его незаданным, так что реальный вес может отличаться.

После слияния многие конвейеры добавляют реранкер поверх лучших результатов.

Почему это важно

  • Полнота. Реальные запросы смешивают точные термины и свободные формулировки. Один ретривер пропускает часть из них.
  • Арабский язык. Арабское написание вариативно (формы алифа, та марбута, огласовки), и без нормализации текста точное совпадение по ключевым словам страдает. Векторный поиск даёт второй путь к нужному фрагменту. Смотрите поиск для RAG на арабском и нормализацию арабского текста для поиска.
  • Меньше токенов. Чем точнее извлечение, тем меньше фрагментов уходит в LLM на каждый вопрос.

В BroadNet Inference

Гибридный поиск работает в вашем поисковом стеке: Elasticsearch, OpenSearch, Weaviate или аналогах. BroadNet не предлагает эндпоинтов для эмбеддингов или реранкинга, поэтому эмбеддинги получайте у другого провайдера или от локальной модели. Объединённые лучшие фрагменты отправляйте чат-модели BroadNet, например Qwen3.8 27B или GLM 5.3, через Chat Completions API. Для небольших корпусов сравните это с вариантом, когда документы целиком кладутся в длинный контекст; смотрите длинный контекст или RAG.

Вопросы и ответы

Почему бы не обойтись одним векторным поиском?

Эмбеддинги улавливают смысл, но могут пропускать точные строки: артикулы, имена, тексты ошибок. Поиск по ключевым словам их находит. Вместе они покрывают оба типа запросов.

Нужно ли настраивать RRF?

Обычно почти не нужно. Документация Elasticsearch говорит, что RRF не требует настройки и что объединяемым наборам результатов не нужны сопоставимые оценки релевантности. Константа ранга по умолчанию равна 60.

Что означает alpha в Weaviate?

Это вес векторных результатов относительно результатов по ключевым словам. По документации Weaviate, alpha 0 — только поиск по ключевым словам, alpha 1 — только векторный поиск, а значение по умолчанию на сервере — 0,75.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity