Поместите ответ в середину длинного промпта, и многие модели пропустят его с большей вероятностью, чем если бы он стоял в начале или в конце.
Как это работает
Liu и соавторы (2023) проверяли модели на двух задачах. В вопросно-ответной задаче по нескольким документам модель получала вопрос и несколько найденных документов, и ответ содержался только в одном из них. В задаче извлечения по ключу ей нужно было найти одно значение в длинном списке пар «ключ — значение». Исследователи меняли положение нужного элемента.
Вывод: качество “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (перевод: «часто наиболее высокое, когда релевантная информация находится в начале или в конце входного контекста, и значительно снижается, когда моделям нужно обращаться к релевантной информации в середине длинных контекстов, даже у моделей, явно рассчитанных на длинный контекст».) На графике по позиции точность образует U-образную кривую.
Практический вывод прост. Длинное контекстное окно говорит, сколько модель принимает, но не то, насколько равномерно она это использует.
Почему это важно
- Порядок в RAG. В генерации с дополнением из поиска (RAG) ретривер ранжирует фрагменты. Если поставить лучший из 20 в середину, ранжирование пропадёт впустую. Ставьте его первым или первым и последним.
- Длинные документы. Вопрос о пункте на 40-й странице из 80 сложнее, чем о первой странице. Укажите модели нужный раздел или сначала извлеките его.
- Агенты. В длинной истории агента внимание получают ранние инструкции и последний ход; вывод инструментов из середины работы используется хуже всего.
Lost in the middle — часть более широкого эффекта, деградации контекста (context rot), при которой точность падает с ростом длины и числа отвлекающих фрагментов, а не только из-за позиции.
В BroadNet Inference
DeepSeek V4.1 Flash и GLM 5.3 в BroadNet принимают до 1 048 576 токенов в запросе. Это делает позицию не менее, а более важной, потому что и середина становится больше. Раскладка, которая учитывает и позиционные эффекты, и вход из кэша:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
Подробнее — в руководстве по контексту в 1 млн токенов и в статье о структуре промпта для кэширования.