Модель, которая принимает миллион токенов, использует миллионный токен хуже, чем первую тысячу. Этот разрыв и есть деградация контекста.
Как это работает
Отчёт Chroma (Hong, Troynikov и Huber, июль 2025 года) проверил 18 моделей, включая GPT-4.1, Claude 4, Gemini 2.5 и Qwen3, на задачах, сложность которых не менялась, а вход рос. Главный вывод: “model performance consistently degrades with increasing input length.” (перевод: «качество модели стабильно падает с ростом длины входа».)
Выделились три эффекта:
- Сильнее всего страдают слабые совпадения. Когда у вопроса и нужного фрагмента мало общих слов, точность с ростом длины падала быстрее.
- Отвлекающие фрагменты вредят. “Even a single distractor reduces performance relative to the baseline” (перевод: «даже один отвлекающий фрагмент снижает качество относительно базового уровня»), а четыре ухудшали результат ещё сильнее. Отвлекающий фрагмент — это отрывок на ту же тему, который не отвечает на вопрос.
- Структура важна, причём неожиданным образом. Связный текст-наполнитель вредил сильнее, чем те же предложения в перемешанном виде. Авторы обнаружили, что “structural coherence consistently hurts model performance.” (перевод: «структурная связность стабильно ухудшает качество модели».)
Это продолжает более ранние работы, например lost in the middle, где были показаны эффекты позиции. Деградация контекста расширяет вывод: точность снижает сама длина, а не только позиция.
Почему это важно
- Агенты. Агент для программирования или исследований накапливает прочитанные файлы, логи и старые результаты инструментов. Каждый из них — потенциальный отвлекающий фрагмент. Точность может поползти вниз задолго до заполнения контекстного окна.
- Стоимость и задержка. Длинные промпты к тому же требуют больше входных токенов и дольше обрабатываются, так что сокращение помогает сразу в трёх отношениях.
- Длинный контекст против поиска. Отправить весь корпус просто, но RAG, который отправляет только релевантные чанки, не пускает в контекст отвлекающие фрагменты.
В BroadNet Inference
DeepSeek V4.1 Flash и GLM 5.3 в BroadNet принимают до 1 048 576 токенов, а Qwen3.8 27B — до 262 144. BroadNet не обрезает ваш контекст: модель читает ровно то, что вы отправили. Считайте лимит потолком, а не целью. Руководство по контекстному окну в 1 млн токенов объясняет, когда полное окно оправдано, а статья об управлении контекстом для долго работающих агентов показывает приёмы суммаризации и обрезки. Калькулятор контекстного окна помогает оценить размер промпта до отправки.
Частые ошибки
- Вставлять все файлы «на всякий случай». Связанный, но нерелевантный текст — именно то, что Chroma использовала в тестах с отвлекающими фрагментами.
- Тестировать на «иголке», которая дословно совпадает с вопросом. Реальные вопросы так совпадают редко.