BroadRouter
开始使用

BM25

更新于

BM25(Okapi BM25)是关键词搜索的排序函数,它根据查询词在文档中出现的频率、这些词在整个文档集中有多罕见,以及文档有多长来给文档打分。它是 Lucene 和 Elasticsearch 默认的相似度算法。

又称: BM25 算法、Okapi BM25、BM25 排序、关键词检索、词法检索、稀疏检索、lexical search

BM25 是大多数搜索系统里负责关键词的那一半:快、便宜,擅长精确词语。

工作原理

BM25 源自概率相关性框架,Robertson 和 Zaragoza 在《The Probabilistic Relevance Framework: BM25 and Beyond》(2009)中做了总结。Lucene 的类说明指出,它由 Robertson、Walker、Jones 等人在 TREC-3 上提出。

对每个查询词,BM25 综合三个信号:

  • 词频:在文档中出现得越多,分数越高,但收益递减。
  • 逆文档频率(IDF):越罕见的词权重越高。Lucene 的实现是 log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5))。
  • 长度归一化:同样的匹配,出现在短文档里比出现在长文档里更有分量。

有两个参数可以调节。Elasticsearch 文档中的说明:

参数 默认值 控制什么
k1 1.2 “non-linear term frequency normalization (saturation)“(译文:非线性的词频归一化(饱和))
b 0.75 “to what degree document length normalizes tf values”(译文:文档长度对词频值的归一化程度)

BM25 是 Elasticsearch 默认的相似度算法。

为什么重要

  • 精确匹配。 产品编号、名称和错误信息正是嵌入向量最弱、BM25 最强的地方。
  • 成本。 它不需要调用模型或使用 GPU,只需要一个倒排索引。
  • 混合检索。 大多数生产环境的 RAG 系统把它和向量检索搭配使用;参见混合检索。

阿拉伯语文本与 BM25

BM25 对 token 做精确匹配,所以效果取决于文本如何分析。在阿拉伯语中,同一个词可以用不同的 alef 形式书写,可以带或不带变音符号,teh marbuta(ة)也可能写成 heh(ه),冠词和连词还会粘在词上。不做阿拉伯语文本规范化和词干提取,这些变体就无法匹配。

Elasticsearch 内置的 arabic 分析器依次串联这些过滤器:lowercase、decimal_digit、arabic_stop、arabic_normalization、一个关键词标记器,以及 arabic_stemmer。查询和文档要用同样的方式规范化。面向搜索的阿拉伯语文本规范化测试了哪些规则有帮助、哪些有害,阿拉伯语文本规范化工具可以让你在自己的文本上试一试。

在 BroadNet Inference 上

BM25 运行在你的搜索引擎里,而不是大模型里。BroadNet 不提供嵌入或重排序端点;它提供的是读取你检索结果的对话模型。把 BM25 或混合检索排名靠前的结果,通过 Chat Completions API 发给 Qwen3.8 27B 这样的模型即可。阿拉伯语 RAG 搜索展示了完整的流水线。

常见问题

有了嵌入向量,BM25 还有用吗?

有用。名称、编号和错误信息这类精确词语,嵌入向量容易模糊,而 BM25 很擅长。许多 RAG 系统两者都跑,再用混合检索合并结果。

k1 和 b 是做什么的?

k1 控制重复出现的词多快不再增加分数(词频饱和)。b 控制对文档长度做多大程度的归一化。Lucene 和 Elasticsearch 的默认值是 k1 1.2、b 0.75。

BM25 适用于阿拉伯语吗?

适用,前提是先按阿拉伯语对文本做分析。不做规范化和词干提取,拼写变体和粘着的前缀会让词无法匹配。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity