BroadRouter

混合检索(hybrid search)

更新于

混合检索是一种检索方法:对同一个查询同时运行关键词检索(如 BM25)和基于嵌入向量的向量检索,再把两份排序列表合并成一份,常用倒数排名融合(RRF)或归一化分数的加权求和。

又称: 混合检索、混合搜索、关键词与向量混合检索、倒数排名融合、RRF、hybrid search、hybrid retrieval、reciprocal rank fusion

关键词检索找的是原词,向量检索找的是语义。混合检索两者都跑,再合并结果。

原理

查询会同时发给两个检索器:

  • 关键词:在倒排索引上运行 BM25。擅长人名、编码和罕见词。
  • 向量:在向量数据库中对嵌入向量做最近邻搜索。擅长同义改写和近义词。

两种分数的量纲不同,所以大多数系统按排名或按归一化后的分数来合并。

**倒数排名融合(RRF)**出自 Cormack、Clarke 和 Büttcher(SIGIR 2009):文档每出现在一个列表里,就加上一项分数。Elasticsearch 把这个循环写成 score += 1.0 / (k + rank(result(q), d)),排名常数 k 默认为 60。它的文档说 “RRF requires no tuning.”(译文:RRF 不需要调参。)

以 k = 60 为例:

文档 BM25 排名 向量排名 RRF 分数
A 1 3 1/61 + 1/63 = 0.0323
B 2 1 1/62 + 1/61 = 0.0325
C 未检出 2 1/62 = 0.0161

B 胜出,因为两个检索器都把它排得很靠前。

加权融合是另一种常见方法。Weaviate 从 v1.24 起默认使用 relativeScoreFusion:先把每路检索的分数归一化,再按比例求和。它的 alpha 设置决定两路的权重:0 表示只用关键词,1 表示只用向量,0.75 是服务器默认值。文档建议显式设置 alpha:只有当请求到达服务器时未带 alpha,0.75 这个默认值才会生效,而并非每个客户端库都会让它保持未设置,所以实际权重可能不同。

融合之后,很多流水线还会对靠前的结果再做一次重排序。

为什么重要

  • 召回率。 真实查询往往既有精确词又有模糊表述,单靠一个检索器总会漏掉一部分。
  • 阿拉伯语。 阿拉伯语拼写不统一(alef 的不同写法、ta marbuta、变音符号),文本不做规范化时会影响关键词精确匹配。加上向量检索,就多了一条找到正确文本块的路径。参见阿拉伯语 RAG 检索和面向检索的阿拉伯语文本规范化。
  • 更少的 token。 检索越准,每个问题需要发给 LLM 的文本块就越少。

在 BroadNet Inference 上

混合检索运行在你自己的检索栈里:Elasticsearch、OpenSearch、Weaviate 或类似系统。BroadNet 不提供 embeddings 或 rerank 端点,所以请用其他服务商或本地模型生成嵌入向量。然后通过 Chat Completions API,把合并后排名靠前的文本块发给 BroadNet 的对话模型,例如 Qwen3.8 27B 或 GLM 5.3。语料较小时,可以和直接把文档放进长上下文的做法对比一下;参见长上下文与 RAG 对比。

常见问题

为什么不只用向量检索?

嵌入向量匹配的是语义,但可能漏掉产品编码、人名、错误信息这类精确字符串。关键词检索正好能抓住它们。两者结合,两类查询都能覆盖。

RRF 需要调参吗?

通常不需要怎么调。Elasticsearch 的文档说 RRF 不需要调参,而且它合并的各个结果集不需要有可比的相关性分数。它的排名常数默认是 60。

Weaviate 里的 alpha 是什么意思?

它决定向量结果与关键词结果的权重。Weaviate 的文档说,alpha 为 0 时只用关键词检索,为 1 时只用向量检索,服务器默认值是 0.75。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity