BroadRouter

Потеря в середине (lost in the middle)

Обновлено

Lost in the middle («потеря в середине») — это наблюдаемая склонность языковых моделей лучше всего использовать нужную информацию, когда она стоит ближе к началу или концу длинного ввода, и хуже всего — когда она находится в середине. Название эффекту дало исследование Liu и соавторов 2023 года.

Также называют: lost in the middle, потеря в середине, эффект потери в середине, проблема середины контекста, позиционный перекос длинного контекста, U-образная кривая точности, lost-in-the-middle effect, middle-of-context problem, long-context position bias, U-shaped context performance

Поместите ответ в середину длинного промпта, и многие модели пропустят его с большей вероятностью, чем если бы он стоял в начале или в конце.

Как это работает

Liu и соавторы (2023) проверяли модели на двух задачах. В вопросно-ответной задаче по нескольким документам модель получала вопрос и несколько найденных документов, и ответ содержался только в одном из них. В задаче извлечения по ключу ей нужно было найти одно значение в длинном списке пар «ключ — значение». Исследователи меняли положение нужного элемента.

Вывод: качество “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (перевод: «часто наиболее высокое, когда релевантная информация находится в начале или в конце входного контекста, и значительно снижается, когда моделям нужно обращаться к релевантной информации в середине длинных контекстов, даже у моделей, явно рассчитанных на длинный контекст».) На графике по позиции точность образует U-образную кривую.

Практический вывод прост. Длинное контекстное окно говорит, сколько модель принимает, но не то, насколько равномерно она это использует.

Почему это важно

  • Порядок в RAG. В генерации с дополнением из поиска (RAG) ретривер ранжирует фрагменты. Если поставить лучший из 20 в середину, ранжирование пропадёт впустую. Ставьте его первым или первым и последним.
  • Длинные документы. Вопрос о пункте на 40-й странице из 80 сложнее, чем о первой странице. Укажите модели нужный раздел или сначала извлеките его.
  • Агенты. В длинной истории агента внимание получают ранние инструкции и последний ход; вывод инструментов из середины работы используется хуже всего.

Lost in the middle — часть более широкого эффекта, деградации контекста (context rot), при которой точность падает с ростом длины и числа отвлекающих фрагментов, а не только из-за позиции.

В BroadNet Inference

DeepSeek V4.1 Flash и GLM 5.3 в BroadNet принимают до 1 048 576 токенов в запросе. Это делает позицию не менее, а более важной, потому что и середина становится больше. Раскладка, которая учитывает и позиционные эффекты, и вход из кэша:

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

Подробнее — в руководстве по контексту в 1 млн токенов и в статье о структуре промпта для кэширования.

Вопросы и ответы

Теряются ли в середине новые модели с длинным контекстом?

Исходное исследование обнаружило спад даже у моделей, созданных для длинного контекста. Более поздние работы, например отчёт Chroma 2025 года о деградации контекста (context rot), по-прежнему фиксируют падение точности с ростом длины. Проверьте свою модель и свою раскладку промпта.

Куда в промпте ставить самый важный документ?

Ближе к началу или к концу, а не прятать в середину. В RAG ставьте первым фрагмент с наивысшим рангом и повторяйте вопрос после документов.

Не конфликтует ли это с кэшированием промптов?

Может конфликтовать. Кэширование выигрывает от стабильного префикса, а позиционные эффекты — от самого релевантного текста у краёв. Ставьте стабильные инструкции в начало, а вопрос и ключевые фрагменты — в конец.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity