BroadRouter

百万 token 上下文窗口什么时候值得用(什么时候不值得)

BroadNet Inference 团队 · 阅读约 4 分钟 · 发布于

百万 token 上下文窗口让一次请求就能装下整个代码库、一整套合同或几个小时的转写稿,模型一次看到全部内容,而不是检索出来的片段。它适合跨文件推理和一次性分析;对于在庞大且不断变化的语料上反复查找,检索更便宜。DeepSeek V4.1 Flash 和 GLM 5.3 支持 1,048,576 个 token。

Light shining through towering cliffs made of stacked paper pages.

上下文窗口已经从几千个 token 增长到超过一百万。BroadNet Inference 上的 DeepSeek V4.1 Flash 和 GLM 5.3 每次请求接受 1,048,576 个 token,提示词和回答合计。这改变了你的构建方式,但并不会让每个提示词都变得更好。

一百万 token 能放下什么?

粗略参考:在我们的分词器效率数据集中,1,000 个英文单词在五种分词器上平均约为 1,290 个 token,所以一百万 token 大约相当于 810,000 个普通英文单词:

内容 大致情况
一个中等规模的代码库(数万行) 放得下,还有富余
几份附带附表的长合同 放得下
一整天的会议转写稿 放得下
一个包含依赖的大型 monorepo 往往放不下;要挑选目录

token 数取决于语言和内容。代码和阿拉伯语文本每个字符消耗的 token 往往比英文文本多。请用真实请求返回的 usage 来测量,而不是估算,或者在上下文窗口计算器里检查一个样本。

BroadNet 的哪些模型有百万 token 上下文窗口?

模型 上下文窗口 输入 输出 图像
DeepSeek V4.1 Flash 1,048,576 $0.175 $0.52 是
GLM 5.3 1,048,576 $0.78 $3.46 否
Qwen3.8 27B 262,144 $0.175 $2.17 是
BroadNet Gemma 4 VL 26B 32,768 $0.10 $0.22 是

价格按每百万 token 计。GLM 5.3 在同样的百万窗口上还支持工具调用和结构化输出。

百万 token 窗口什么时候值得用?

  • 跨文件推理。“这个测试为什么失败?”往往取决于五个谁也想不到要一起检索的文件。
  • **整份文档审阅。**要找出第 4 条与附表 B 之间的冲突,两者都得在视野之内。
  • **一次性分析。**对于只问一次的问题,搭建检索索引花的力气比省下的还多。
  • **智能体。**能读完整个模块的子智能体,瞎猜的次数更少。见并行运行智能体。

什么时候检索仍是更好的选择?

在远比任何窗口都大的资料库中做许多小查询、内容每分钟都在变化、以及需要快速交互式回答(先读一个超大提示词会增加延迟)时,检索更胜一筹。很多生产系统两者兼用:先检索出最相关的 200,000 个 token,再让长上下文模型基于全部内容推理。包含单次查询成本、延迟和召回率并排对比的完整决策,见长上下文还是 RAG。

模型真的会用到整个窗口吗?

用得并不均匀。研究在这一点上结论一致:

  • Lost in the Middle 论文(Liu 等)发现,表现 “is often highest when relevant information occurs at the beginning or end of the input context”(译文:往往在相关信息位于输入上下文的开头或结尾时最好)。
  • Chroma 的 Context Rot 报告测试了 18 个模型,发现即使是简单任务,“performance grows increasingly unreliable as input length grows”(译文:随着输入变长,表现变得越来越不可靠)。

这些研究并没有测试 BroadNet 上的模型,所以请把它们当作警示,而不是测量结果。实用的原则是:一个能接受一百万 token 的窗口,并不意味着每个 token 都会得到同等的关注。把最重要的内容放在开头或结尾附近,并用你自己的文档测试召回效果。

一个百万 token 的提示词要花多少钱?

在按量付费密钥上,DeepSeek V4.1 Flash 每百万输入 token 收费 $0.175,每百万缓存输入 token 收费 $0.0055。一个满一百万 token 的提示词,第一次约花 $0.175;前缀被缓存后,重复调用会便宜得多。参见如何提高缓存命中率。

提示词缓存计算器可以按你自己的提示词大小,显示一次缓存命中能省多少钱。举个例子:针对同一套 800,000 token 的合同提出十个问题。不用缓存,就是 800 万 token,按每百万 $0.175 计费。如果文档放在最前面并保持不变,第一次调用读取 800,000 个新 token,之后九次调用大部分都能以每百万 $0.0055 的价格从缓存读取。变化的只有问题和回答。

在不限量套餐上,提示词的大小不会改变账单:Full Moon 每个会话每月 $60,不计 token。这也是长上下文智能体常常成为选择固定价格套餐而非按 token 计费的原因。

应该给回答留多少空间?

窗口同时包含提示词和输出,而思考模型的输出还包括思考过程。如果你发送 1,040,000 token 的提示词,留给思考和回答的就只剩大约 8,000 个。要留出余量,显式设置 max_tokens,并阅读思考模型为什么会返回空回答。

如何为百万 token 提示词准备代码库

  1. **排除模型不需要的内容。**锁文件、构建产物、vendored 依赖、图片和生成的代码既占 token 又增加噪音。
  2. **发送前先计数。**发送一个小样本,从 usage 中读取 prompt_tokens,再按比例放大。
  3. **按稳定性排序。**很少改动的文件放前面,正在修改的文件放后面,问题放在最后。这样前缀可以被缓存。
  4. **给每个文件加标签。**用 === path/to/file.py === 这样清晰的标记包住文件,方便模型引用。
  5. 要求引用。“引用你所依据的那一行”能减少在超大输入上自信地犯错。
  6. **测量。**每个请求都记录提示词 token、缓存 token 和首 token 时间。流式输出能让第一个 token 一到就显示出来。

BroadNet Inference 适合什么场景

它有两个对话模型每次请求可接受 1,048,576 个 token,而且 BroadNet 不会裁剪你的上下文。在按 token 计费的密钥上,缓存让重复的长提示词保持在可承受的成本内;在套餐会话中,提示词大小不影响账单。如果你的语料远超一百万 token,或者每分钟都在变化,你仍然需要检索,再大的窗口也改变不了这一点。

常见问题

BroadNet 会裁剪过长的提示词吗?

不会。BroadNet 不会裁剪你的上下文。如果提示词加 max_tokens 超过了模型的窗口,请缩短提示词,而不是指望被悄悄截断。

100 万 token 大约是多少个单词?

取决于语言和内容。在 BroadRouter 的分词器数据集中,英文文本约为每 100 个单词 129 个 token(五种分词器平均,1,000 个单词约为 1,290 个 token),所以 1,048,576 个 token 大约能放 810,000 个单词,远超一千页。技术文本、代码和阿拉伯语需要更多 token,请用你的真实内容来计算。

百万 token 的请求会很慢吗?

它开始输出的时间比短请求更长,因为模型必须先读完整个提示词。重复调用时,缓存前缀通常会有帮助。请用你自己的提示词测量首 token 时间。

大模型真的会用到整个上下文窗口吗?

用得并不均匀。Lost in the Middle 论文发现,相关信息位于输入的开头或结尾时,准确率往往最高;Chroma 的 Context Rot 报告发现,可靠性会随着输入变长而下降。把关键内容放在两端,并用你自己的数据测试。

我应该停用 RAG 吗?

不一定。模型需要把所有内容放在一起看时,用长上下文;需要从海量资料中找几条事实时,用检索。很多系统两者兼用。

提示词比上下文窗口还大会怎样?

BroadNet 不会替你裁剪,所以请求无法按预期运行。发送前删掉一些文件、总结旧的对话轮次,或者只检索相关部分。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity