Контекстные окна выросли с нескольких тысяч токенов до более чем миллиона. DeepSeek V4.1 Flash и GLM 5.3 в BroadNet Inference принимают 1 048 576 токенов на запрос — промпт и ответ вместе. Это меняет то, как можно строить системы, но не делает лучше любой промпт.
Что помещается в миллион токенов?
Для грубой оценки: 1000 слов английского текста в нашем датасете эффективности токенизаторов дали в среднем по пяти токенизаторам около 1,290 токенов, так что миллион токенов — это примерно 810,000 слов обычного текста:
| Содержимое | Примерно |
|---|---|
| Кодовая база среднего размера (десятки тысяч строк) | Помещается с запасом |
| Несколько длинных договоров с приложениями | Помещается |
| Расшифровки встреч за день | Помещается |
| Большой монорепозиторий с зависимостями | Часто нет; выбирайте каталоги |
Число токенов зависит от языка и содержимого. Код и арабский текст часто расходуют больше токенов на символ, чем английский текст. Измеряйте по блоку usage реального запроса, а не на глаз, или проверьте образец в калькуляторе контекстного окна.
У каких моделей BroadNet контекстное окно на 1 млн токенов?
| Модель | Контекстное окно | Вход | Выход | Изображения |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1 048 576 | $0.175 | $0.52 | Да |
| GLM 5.3 | 1 048 576 | $0.78 | $3.46 | Нет |
| Qwen3.8 27B | 262 144 | $0.175 | $2.17 | Да |
| BroadNet Gemma 4 VL 26B | 32 768 | $0.10 | $0.22 | Да |
Цены указаны за 1 млн токенов. GLM 5.3 при том же окне в 1 млн добавляет вызов инструментов и структурированный вывод.
Когда окно на 1 млн токенов оправдано?
- Рассуждения по многим файлам. Ответ на вопрос «Почему падает этот тест?» часто зависит от пяти файлов, которые никому не пришло бы в голову искать вместе.
- Проверка документа целиком. Чтобы найти противоречие между пунктом 4 и приложением B, нужно видеть оба.
- Разовый анализ. Для вопроса, который вы зададите один раз, построение поискового индекса потребует больше усилий, чем сэкономит.
- Агенты. Субагент, который может прочитать весь модуль, реже ошибается в догадках. См. параллельный запуск агентов.
Когда поиск всё ещё лучше?
Поиск выигрывает при множестве мелких запросов к библиотеке, намного большей любого окна, для контента, который меняется каждую минуту, и для быстрых интерактивных ответов, где чтение огромного промпта добавляет задержку. Многие продакшен-системы делают и то и другое: находят 200 000 самых релевантных токенов, а затем дают модели с длинным контекстом рассуждать над всеми ними. Полный разбор с ценой запроса, задержкой и полнотой бок о бок — в статье длинный контекст или RAG.
Действительно ли модель использует всё окно?
Неравномерно. Исследования здесь сходятся:
- Статья Lost in the Middle (Liu и др.) показала, что качество “is often highest when relevant information occurs at the beginning or end of the input context” (перевод: «часто максимально, когда нужная информация находится в начале или в конце входного контекста»).
- Отчёт Chroma Context Rot протестировал 18 моделей и обнаружил, что “performance grows increasingly unreliable as input length grows” (перевод: «качество становится всё менее надёжным по мере роста длины входа») — даже на простых задачах.
В этих исследованиях не тестировались модели на BroadNet, поэтому считайте их предупреждением, а не измерением. Практическое правило: если окно принимает миллион токенов, это не значит, что каждый токен получает равное внимание. Размещайте самое важное ближе к началу или концу и проверяйте полноту на своих документах.
Сколько стоит промпт на миллион токенов?
На ключе с оплатой по факту DeepSeek V4.1 Flash стоит $0.175 за 1 млн входных токенов и $0.0055 за 1 млн входных токенов из кэша. Полный промпт на миллион токенов обходится примерно в $0.175 в первый раз и гораздо дешевле при повторных вызовах, когда префикс в кэше. Как повысить долю попаданий в кэш.
Калькулятор кэширования промптов показывает, сколько экономит попадание в кэш при ваших размерах промпта. Пример с расчётом: десять вопросов по одному и тому же пакету договоров на 800 000 токенов. Без кэширования это 8 млн токенов по $0.175 за 1 млн. Если документы идут первыми и не меняются, первый вызов читает 800 000 новых токенов, а следующие девять могут читать большую их часть из кэша по $0.0055 за 1 млн. Меняются только вопрос и ответ.
На безлимитном тарифе размер промпта на счёт не влияет: Full Moon стоит $60 в месяц за сессию без счётчика токенов. Поэтому агенты с длинным контекстом — частая причина выбрать фиксированный тариф вместо оплаты за токены.
Сколько места оставлять для ответа?
Окно вмещает промпт и вывод, а у моделей с рассуждениями вывод включает размышления. Если отправить промпт на 1 040 000 токенов, на рассуждения и ответ останется всего около 8000. Держите запас, задавайте max_tokens явно и прочитайте, почему модели с рассуждениями могут вернуть пустой ответ.
Как подготовить кодовую базу к промпту на 1 млн токенов
- Исключите то, что модели не нужно. Lock-файлы, результаты сборки, вендорные зависимости, изображения и сгенерированный код занимают токены и добавляют шум.
- Считайте до отправки. Отправьте небольшой образец, прочитайте
prompt_tokensиз usage и масштабируйте. - Упорядочивайте по стабильности. Редко меняющиеся файлы — первыми, редактируемые — последними, вопрос — в самом конце. Так префикс остаётся кэшируемым.
- Помечайте каждый файл. Оборачивайте файлы в понятные маркеры вроде
=== path/to/file.py ===, чтобы модель могла на них ссылаться. - Просите цитаты. Просьба «процитируй строку, на которую опираешься» сокращает уверенные ошибки на огромных входах.
- Измеряйте. Логируйте токены промпта, кэшированные токены и время до первого токена для каждого запроса. Стриминг показывает первый токен сразу, как только он приходит.
Место BroadNet Inference
Две чат-модели BroadNet принимают 1 048 576 токенов на запрос, и BroadNet не обрезает ваш контекст. На ключе с оплатой за токены кэширование делает повторные длинные промпты доступными по цене; в сессии тарифа размер промпта на счёт не влияет. Если ваш корпус намного больше миллиона токенов или меняется каждую минуту, поиск вам всё равно нужен, и никакой размер окна этого не изменит.

