把答案放在长提示词的中间,很多模型漏掉它的可能性比放在开头或结尾时更大。
原理
Liu 等人(2023)用两个任务测试了模型。在多文档问答中,模型拿到一个问题和若干检索出的文档,其中只有一篇包含答案。在键值检索中,模型要在一长串键值对中找到一个值。研究者改变了相关内容所在的位置。
他们的发现:性能 “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.”(译文:当相关信息出现在输入上下文的开头或结尾时往往最高;当模型必须获取位于长上下文中间的相关信息时则显著下降,即使是明确面向长上下文的模型也是如此。)按位置画出来,准确率呈 U 形。
实际含义很简单。很长的上下文窗口只说明模型能接收多少内容,并不说明它能均匀地利用这些内容。
为什么重要
- RAG 的排序。 在检索增强生成中,检索器会给段落排序。如果把最好的一段放在 20 段的中间,排序就白做了。把它放在第一位,或者首尾各放一次。
- 长文档。 询问 80 页文档第 40 页的某个条款,比询问第 1 页更难。请把模型引向相关章节,或先把它提取出来。
- 智能体。 在很长的智能体历史中,早期指令和最新一轮会得到关注;运行中途的工具输出最容易被忽视。
中间迷失是一个更广泛现象的一部分,这个现象叫上下文腐化:准确率会随长度和干扰内容而下降,不只是受位置影响。
在 BroadNet Inference 上
BroadNet 的 DeepSeek V4.1 Flash 和 GLM 5.3 每个请求最多接受 1,048,576 个 token。这让位置变得更重要而不是更不重要,因为“中间”更长了。下面这种布局能同时兼顾位置效应和缓存输入:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
百万 token 上下文指南和为缓存设计提示词结构有更深入的介绍。