BM25 是大多数搜索系统里负责关键词的那一半:快、便宜,擅长精确词语。
工作原理
BM25 源自概率相关性框架,Robertson 和 Zaragoza 在《The Probabilistic Relevance Framework: BM25 and Beyond》(2009)中做了总结。Lucene 的类说明指出,它由 Robertson、Walker、Jones 等人在 TREC-3 上提出。
对每个查询词,BM25 综合三个信号:
- 词频:在文档中出现得越多,分数越高,但收益递减。
- 逆文档频率(IDF):越罕见的词权重越高。Lucene 的实现是
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5))。 - 长度归一化:同样的匹配,出现在短文档里比出现在长文档里更有分量。
有两个参数可以调节。Elasticsearch 文档中的说明:
| 参数 | 默认值 | 控制什么 |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)“(译文:非线性的词频归一化(饱和)) |
b |
0.75 | “to what degree document length normalizes tf values”(译文:文档长度对词频值的归一化程度) |
BM25 是 Elasticsearch 默认的相似度算法。
为什么重要
- 精确匹配。 产品编号、名称和错误信息正是嵌入向量最弱、BM25 最强的地方。
- 成本。 它不需要调用模型或使用 GPU,只需要一个倒排索引。
- 混合检索。 大多数生产环境的 RAG 系统把它和向量检索搭配使用;参见混合检索。
阿拉伯语文本与 BM25
BM25 对 token 做精确匹配,所以效果取决于文本如何分析。在阿拉伯语中,同一个词可以用不同的 alef 形式书写,可以带或不带变音符号,teh marbuta(ة)也可能写成 heh(ه),冠词和连词还会粘在词上。不做阿拉伯语文本规范化和词干提取,这些变体就无法匹配。
Elasticsearch 内置的 arabic 分析器依次串联这些过滤器:lowercase、decimal_digit、arabic_stop、arabic_normalization、一个关键词标记器,以及 arabic_stemmer。查询和文档要用同样的方式规范化。面向搜索的阿拉伯语文本规范化测试了哪些规则有帮助、哪些有害,阿拉伯语文本规范化工具可以让你在自己的文本上试一试。
在 BroadNet Inference 上
BM25 运行在你的搜索引擎里,而不是大模型里。BroadNet 不提供嵌入或重排序端点;它提供的是读取你检索结果的对话模型。把 BM25 或混合检索排名靠前的结果,通过 Chat Completions API 发给 Qwen3.8 27B 这样的模型即可。阿拉伯语 RAG 搜索展示了完整的流水线。