BroadRouter

Prefill и decode (префилл и декодирование)

Обновлено

Prefill и decode — это две фазы инференса LLM. На этапе prefill модель параллельно обрабатывает весь промпт и заполняет KV-кэш; на этапе decode она генерирует ответ по одному токену, повторно используя этот кэш. Prefill в основном определяет время до первого токена, decode — скорость вывода.

Также называют: префилл, фаза prefill, фаза декодирования, декодирование, обработка промпта, prefill, prefill phase, decode phase, prefill stage, prompt processing

Запрос к чату выполняет две разные работы: прочитать промпт, а затем написать ответ. Инженеры инференса называют их prefill и decode, и на GPU они ведут себя совсем по-разному.

Как это работает

  1. Prefill. Модель читает все токены промпта за один параллельный проход и сохраняет ключи и значения внимания для каждого токена в KV-кэше. Пока ничего не возвращается.
  2. Decode. Модель генерирует один токен, добавляет его ключи и значения в кэш и повторяет, пока не остановится или не упрётся в max_tokens.

Статья о Sarathi-Serve описывает контраст прямо: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (перевод: «итерации prefill имеют высокую задержку, но полностью загружают вычислительные ресурсы GPU благодаря параллельной обработке входного промпта»), тогда как “decode iterations have low latency but also low compute utilization.” (перевод: «итерации decode имеют низкую задержку, но и низкую загрузку вычислительных ресурсов».)

Две фазы соответствуют двум показателям задержки, которые ощущают пользователи. Статья о DistServe называет их: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (перевод: «время до первого токена (TTFT) для фазы prefill и время на выходной токен (TPOT) каждого запроса для фазы декодирования».)

Пример: запрос с промптом на 20 000 токенов и ответом на 300 токенов сначала выполняет prefill всех 20 000 токенов, и только потом в потоке появляется первый токен, а затем идут 300 последовательных шагов decode. Если сократить промпт вдвое, ждать первого токена придётся меньше, но скорость прихода 300 токенов не изменится.

Почему это важно

  • Время до первого токена зависит от размера промпта. Длинные системные промпты, документы и списки инструментов — всё это добавляет работы на prefill. Кэшированные префиксы позволяют пропустить её часть, поэтому вход из кэша может ускорить старт длинных промптов.
  • Токены в секунду — показатель decode. Скорость вывода зависит от того, как быстро выполняется каждый шаг decode; повысить её пытается спекулятивное декодирование.
  • Фазы мешают друг другу. Когда сервер выполняет обе на одном GPU, большой prefill может приостановить decode у других пользователей. DistServe сообщает о “strong prefill-decoding interferences” (перевод: «сильных взаимных помехах prefill и decode») и разносит фазы по разным GPU. Sarathi-Serve вместо этого “splits a prefill request into near equal sized chunks” (перевод: «делит запрос prefill на почти равные части») и планирует их “without pausing ongoing decodes” (перевод: «не приостанавливая текущие decode»).
  • Движки дают управлять компромиссом. Руководство vLLM по настройке говорит, что chunked prefill позволяет объединять части prefill с запросами decode в один батч. Меньшее значение max_num_batched_tokens улучшает задержку между токенами, а большее выгодно для TTFT и пропускной способности.

Статья о задержке, TTFT и пропускной способности показывает, как измерить обе фазы на стороне клиента.

В BroadNet Inference

BroadNet не публикует, как её серверы планируют prefill и decode. Видно только следствие: стримьте ответ, как в руководстве по стримингу, и записывайте время до первого фрагмента с содержимым (в основном prefill плюс ожидание в очереди) и частоту фрагментов после него (decode). У GLM 5.3, DeepSeek V4.1 Flash и Qwen3.8 27B токены рассуждений тоже генерируются на этапе decode, поэтому они откладывают видимый ответ и учитываются в max_tokens.

Частые ошибки

  • Винить в медленном первом токене скорость вывода модели. Сначала проверьте длину промпта.
  • Проводить бенчмарк на крошечном промпте. У реальных промптов с длинным контекстом prefill гораздо дольше.

Вопросы и ответы

Почему из-за длинного промпта первый токен появляется медленно?

Каждый токен промпта должен пройти prefill, прежде чем модель что-то напишет. Чем длиннее промпт, тем больше работы на prefill, поэтому время до первого токена растёт с длиной промпта, если только часть промпта не берётся из кэша.

Замедляет ли длинный ответ появление первого токена?

Нет. Первый токен ждёт prefill промпта. Длинный ответ лишь добавляет шаги decode после того, как первый токен уже пришёл.

Что такое chunked prefill?

Это способ планирования, при котором длинный промпт делится на части и перемежается с текущими шагами decode, чтобы один большой промпт не задерживал других пользователей. vLLM включает его по умолчанию там, где это возможно.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity