BroadRouter
始める

BM25

更新日

BM25(Okapi BM25)とは、キーワード検索のランキング関数で、クエリの語が文書に何回出現するか、その語がコレクション全体でどれだけ珍しいか、文書の長さはどれくらいかをもとに文書をスコアリングします。Lucene と Elasticsearch のデフォルトの類似度です。

別名: BM25 アルゴリズム、Okapi BM25、キーワード検索、全文検索 スコアリング、語彙検索、スパース検索、lexical search

BM25 は、たいていの検索システムでキーワードを受け持つ側です。速く、安く、正確な語の一致に強い方式です。

しくみ

BM25 は確率的適合性フレームワークから生まれたもので、Robertson と Zaragoza が「The Probabilistic Relevance Framework: BM25 and Beyond」(2009)でまとめています。Lucene のクラスの説明によると、Robertson、Walker、Jones らが TREC-3 で提案しました。

クエリの各語について、BM25 は 3 つのシグナルを組み合わせます。

  • 語の出現頻度(TF):文書内の出現回数が多いほどスコアは上がりますが、増え方は次第に小さくなります。
  • 逆文書頻度(IDF):珍しい語ほど重みが大きくなります。Lucene では log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)) として実装されています。
  • 長さの正規化:同じ一致でも、長い文書より短い文書での一致のほうが重く数えられます。

調整するパラメーターは 2 つです。Elasticsearch のドキュメントより。

パラメーター デフォルト 何を制御するか
k1 1.2 “non-linear term frequency normalization (saturation)“(訳:語の出現頻度の非線形な正規化(飽和))
b 0.75 “to what degree document length normalizes tf values”(訳:文書の長さが TF の値をどの程度正規化するか)

BM25 は Elasticsearch のデフォルトの類似度です。

なぜ重要か

  • 完全一致。 製品コード、名前、エラーメッセージは、エンベディングが最も苦手で、BM25 が強い領域です。
  • コスト。 モデルの呼び出しも GPU も不要で、転置インデックスがあれば動きます。
  • ハイブリッド検索。 本番の RAG システムの多くは、BM25 とベクトル検索を組み合わせています。ハイブリッド検索を参照してください。

アラビア語テキストと BM25

BM25 はトークンを完全一致で照合するので、テキストをどう解析するかに左右されます。アラビア語では、同じ単語でもアリフの形が異なったり、発音記号があったりなかったり、ター・マルブータ(ة)がハー(ه)で書かれたりし、冠詞や接続詞は単語にくっついて書かれます。アラビア語テキストの正規化とステミングをしないと、こうした表記ゆれは一致しません。

Elasticsearch の組み込みの arabic アナライザーは、lowercase、decimal_digit、arabic_stop、arabic_normalization、キーワードマーカー、arabic_stemmer の順にフィルターをつなげています。クエリと文書は同じ方法で正規化してください。検索のためのアラビア語テキスト正規化では、どのルールが効き、どのルールが逆効果かを検証しています。アラビア語テキスト正規化ツールでは、自分のテキストで試せます。

BroadNet Inference の場合

BM25 は LLM ではなく、検索エンジンの中で動きます。BroadNet はエンベディングやリランクのエンドポイントを提供しておらず、検索結果を読むチャットモデルを提供しています。BM25 やハイブリッド検索の上位の結果を、Chat Completions API で Qwen3.8 27B などのモデルに送ってください。パイプライン全体はアラビア語の RAG 検索で紹介しています。

よくある質問

エンベディングがあっても BM25 は役に立ちますか?

はい。名前、コード、エラー文字列のような正確な語は、エンベディングだとぼやけがちですが、BM25 は得意です。多くの RAG システムは両方を実行し、ハイブリッド検索で結果を統合しています。

k1 と b は何を調整しますか?

k1 は、同じ語が繰り返し出てきたときにどれだけ早くスコアが増えなくなるか(語の出現頻度の飽和)を調整します。b は文書の長さをどの程度正規化するかを調整します。Lucene と Elasticsearch のデフォルトは k1 が 1.2、b が 0.75 です。

BM25 はアラビア語でも使えますか?

はい、先にアラビア語向けにテキストを解析すれば使えます。正規化とステミングをしないと、表記ゆれや語に付いた接頭辞のせいで単語が一致しなくなります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く