BroadRouter

ハイブリッド検索(hybrid search)

更新日

ハイブリッド検索とは、同じクエリに対して BM25 などのキーワード検索と、エンベディングによるベクトル検索の両方を実行し、2 つのランキングを 1 つに統合する検索手法です。統合には Reciprocal Rank Fusion(RRF)や正規化スコアの重み付き和がよく使われます。

別名: ハイブリッド検索、ハイブリッドサーチ、キーワード検索とベクトル検索の併用、RRF、Reciprocal Rank Fusion、hybrid search、hybrid retrieval、reciprocal rank fusion

キーワード検索は言葉そのものを、ベクトル検索は意味を見つけます。ハイブリッド検索は両方を実行し、結果を統合します。

仕組み

クエリは 2 つの検索器に同時に送られます。

2 つのスコアは尺度が異なるため、多くのシステムは順位か正規化したスコアで統合します。

**Reciprocal Rank Fusion(RRF)**は Cormack、Clarke、Büttcher(SIGIR 2009)によるもので、文書が現れたリストごとに 1 項ずつ加算します。Elasticsearch はこのループを score += 1.0 / (k + rank(result(q), d)) と記述しており、ランク定数 k のデフォルトは 60 です。ドキュメントには “RRF requires no tuning.”(訳:RRF はチューニング不要)とあります。

k = 60 での計算例です。

文書 BM25 の順位 ベクトルの順位 RRF スコア
A 1 3 1/61 + 1/63 = 0.0323
B 2 1 1/62 + 1/61 = 0.0325
C 見つからず 2 1/62 = 0.0161

両方の検索器が上位に置いたため、B が 1 位になります。

もう 1 つの一般的な方法が重み付き統合です。Weaviate が v1.24 からデフォルトにしている relativeScoreFusion は、各検索のスコアを正規化し、比率をかけて合計します。alpha 設定で両者の重みを決め、0 はキーワードのみ、1 はベクトルのみ、0.75 がサーバーのデフォルトです。ドキュメントは alpha を明示的に設定するよう勧めています。デフォルトの 0.75 が適用されるのは alpha を指定しないリクエストがサーバーに届いた場合だけで、すべてのクライアントライブラリが未設定のまま送るわけではないため、実際の重み付けが異なることがあるからです。

統合の後、上位の結果にリランカーをかけるパイプラインも多くあります。

なぜ重要か

  • 再現率。 実際のクエリには、正確な語とあいまいな表現が混ざっています。検索器が 1 つだけでは、その一部を取りこぼします。
  • アラビア語。 アラビア語は綴りの揺れ(alef の字形、ta marbuta、発音記号)が多く、テキストを正規化しないとキーワードの完全一致が効きにくくなります。ベクトル検索を加えると、正しいチャンクにたどり着く経路がもう 1 つ増えます。アラビア語の RAG 検索と検索のためのアラビア語テキスト正規化を参照してください。
  • トークンの節約。 検索の精度が上がれば、質問ごとに LLM に送るチャンクが減ります。

BroadNet Inference の場合

ハイブリッド検索は、Elasticsearch、OpenSearch、Weaviate などの自前の検索基盤で動かします。BroadNet は embeddings や rerank のエンドポイントを提供していないため、エンベディングは別のプロバイダーかローカルモデルで作成してください。統合した上位のチャンクを、Chat Completions API で Qwen3.8 27B や GLM 5.3 などの BroadNet のチャットモデルに送ります。コーパスが小さい場合は、文書を長いコンテキストにそのまま入れる方法とも比べてみてください。ロングコンテキストと RAG の比較を参照してください。

よくある質問

ベクトル検索だけではだめなのですか?

エンベディングは意味で一致させますが、製品コード、名前、エラーメッセージのような正確な文字列を取りこぼすことがあります。それを拾うのがキーワード検索です。組み合わせれば、両方の種類のクエリをカバーできます。

RRF はチューニングが必要ですか?

通常はほとんど必要ありません。Elasticsearch のドキュメントによると、RRF はチューニング不要で、統合する結果セット同士のスコアが比較可能である必要もありません。ランク定数のデフォルトは 60 です。

Weaviate の alpha とは何ですか?

ベクトル検索とキーワード検索の結果の重みです。Weaviate のドキュメントによると、alpha 0 はキーワード検索のみ、alpha 1 はベクトル検索のみで、サーバーのデフォルトは 0.75 です。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く