BroadRouter

长上下文还是 RAG:百万 token 什么时候能取代向量数据库

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 · 更新于

当语料放得进上下文窗口、很少变动、且问题需要同时用到其中多个部分时,长上下文可以取代 RAG;缓存能让重复查询保持低成本。当语料超出窗口、频繁更新、需要按用户控制权限,或者必须在一两秒内作答时,RAG 依然更胜一筹。很多系统用 RAG 检索,再用长上下文推理。

百万 token 上下文窗口指南介绍了一百万 token 能放下什么、一次请求要花多少钱。本文回答一个更具体的问题,它在每次架构评审中都会被提出来:**我们能不能删掉向量数据库以及围绕它搭建的 RAG 流水线?**有时候可以。下面从四个维度说明如何判断:成本、延迟、召回率和维护成本。

什么时候长上下文能取代 RAG?

以下四个条件都应该成立:

  1. **语料放得下。**提示词加回答加思考,留出余量后仍在上下文窗口之内。DeepSeek V4.1 Flash 和 GLM 5.3 的窗口都是 1,048,576 个 token(两者对比)。上下文窗口计算器可以检查你的文档是否放得下。
  2. **很少变动。**每月更新一次的手册没问题。每分钟都在更新的工单队列就不行。
  3. **所有人都可以看全部内容。**一个共享语料,不需要按用户过滤权限。
  4. 问题横跨整个语料。“哪些合同与新政策冲突?”需要看到所有内容;“退款期限是多久?”则不需要。

只要有一条不成立,就保留检索,或者采用混合方案。

单次查询成本怎么比?

假设有一个 400,000 token 的文档集,问题的回答为 500 个 token。RAG 检索到的分块比如说有 8,000 个 token。在按量付费密钥上使用 DeepSeek V4.1 Flash:

方式 每次查询的输入 每次查询的输入成本
长上下文,首次查询 400,000 个新 token 0.4 × $0.175
长上下文,重复查询,前缀已缓存 约 400,000 个缓存 token 约 0.4 × $0.0055
RAG 8,000 个新 token 0.008 × $0.175

三种情况下输出都一样:500 个 token × 每百万 $0.52。(每个乘数都是“百万 token 数 × 每百万 token 价格”。)

由此可以得出三点。不用缓存时,长上下文每次查询的输入成本是 RAG 的 50 倍,因为它发送的 token 是 RAG 的 50 倍。语料被缓存后,差距会大幅缩小,因为这个模型的缓存输入价格只有新输入的百分之几。但缓存只在前缀逐字节完全相同时才有效,所以语料必须放在最前面并保持稳定,见面向缓存的提示词结构。RAG 也有这张表没列出的成本:语料的向量化、向量库的运行,以及调优分块的工程时间。Embedding 成本计算器可以估算向量化部分的费用。RAG 分块计算器则估算查询侧:分块、每次查询的 token 数,以及每月的大模型账单。

想知道你自己的缓存命中率值多少钱,可以试试提示词缓存计算器。在固定价格套餐上,输入这一列就不存在了:Full Moon 每个会话每月 $60,不计 token,所以 400,000 token 的提示词和短提示词花费相同。

延迟怎么比?

模型要先读完整个提示词,才会写出第一个 token。首 token 时间随提示词长度增长,几十万 token 的提示词开始输出所需的时间,明显长于 8,000 token 的提示词。在很多推理服务系统中,缓存前缀会有所帮助。向量搜索本身通常增加不了多少延迟;与生成相比,检索调用的开销很小。

所以,对于必须在一两秒内回复的交互式助手,RAG 是更稳妥的默认选择。对于提出一个深入问题、愿意等待答案的分析师,长上下文完全可以。请按你计划发送的规模,用自己的提示词测量 TTFT。

哪个召回率更好?

两者都不完美,而且失败的方式不同。

长上下文可能丢失中间部分的信息(lost in the middle)。Lost in the Middle 研究发现,信息位于输入的开头或结尾时,模型利用得最好,位于中间时则较差。RULER 基准测试发现,在简单的“大海捞针”测试中接近满分的模型,在更难的任务上随着输入变长而表现下降;在宣称支持 32K 及以上 token 的模型中,“only half of them”(译文:只有一半)在 32K 时保持了令人满意的表现。较新的模型表现更好,但宣传的窗口大小并不等于质量能保持住的窗口大小。

RAG 在模型开始工作之前就可能失败:如果检索器漏掉了相关段落,模型根本看不到它。需要许多段落的问题,或者措辞与原文不同的问题,是典型的漏检情况。

失败模式 长上下文 RAG
事实埋在提示词中间 风险随长度增加 低,提示词很短
答案需要 20 个分散的段落 强 弱,除非 top-k 很大
查询措辞与原文不同 强 取决于向量模型和重排序
语料比窗口大 做不到 强

长上下文有两个缓解办法:把问题放在最后、文档之后;并要求模型引用它所依据的原文。

维护成本呢?

RAG 是一个系统:分块、向量化、索引、内容变化时重建索引、权限过滤、检索质量评估。长上下文只是一个提示词:把文件加上清晰的标签拼接起来发送即可。对于语料放得下的小团队,删掉流水线能省下实实在在的工作量。对于庞大、不断变化、需要权限控制的语料,流水线做的是长上下文做不到的事。

大多数团队最终采用的混合方案

  1. 检索时放宽范围,不是取五个分块,而是取整篇文档,最多几十万个 token。
  2. 以稳定的顺序排列(按文档 ID,而不是按得分),这样相关问题之间的前缀可以命中缓存。
  3. 把问题放在最后,发送给长上下文模型。
  4. 要求模型引用文档标签,并抽查这些引用。

这样既保留了 RAG 覆盖超大语料的能力,又保留了长上下文跨多个来源推理的能力。它对检索器的要求也更宽松,因为差一点没排进前几名的文档仍然在提示词里。

BroadNet Inference 适合什么场景

BroadNet Inference 提供两个百万 token 模型:DeepSeek V4.1 Flash 和 GLM 5.3,而且不会裁剪你的上下文,所以超大的请求会直接失败,而不是悄悄丢掉文档。在按 token 计费的密钥上,缓存输入按较低的缓存价格计费;不限量套餐则对 DeepSeek V4.1 Flash 完全取消了 token 计量。它的 API 参考列出了 chat completions 和语音转写,没有 embeddings 端点或向量库,所以 RAG 那一半需要你自己准备。要在窗口里为思考 token 留出空间,原因见思考指南。价格见价格页面。

常见问题

模型都有百万 token 上下文了,RAG 是不是过时了?

没有。当整个语料放得下且保持稳定时,长上下文让你不再需要检索。但大多数公司的知识库都超过一百万 token,每天都在变化,而且需要权限控制,这些仍是 RAG 的用武之地。

长上下文比 RAG 更准确吗?

要看问题。答案需要综合许多段落时,长上下文表现更好。在超大语料中查找单个事实时,RAG 可能更好,因为简短的提示词能让模型保持专注。用真实问题把两者都测一测。

100 万 token 的上下文窗口能放多少个单词?

按 BroadRouter 分词器数据集中五种分词器测得的每 1,000 个单词 1,290 个 token 计算,DeepSeek V4.1 Flash 的 1,048,576 token 窗口大约能放 810,000 个普通英文单词。技术性英文、代码、表格和阿拉伯语每个单词需要更多 token,所以能放下的更少。还要给回答和思考留出空间。

RAG 和长上下文可以结合使用吗?

可以,而且往往是最佳选择。检索时放宽范围,比如取 10 万到 20 万 token 的候选文档,然后让长上下文模型基于全部文档推理,而不是只看排名前五的分块。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity