---
title: "프리필과 디코드란? LLM 추론의 두 단계 | BroadRouter"
description: "프리필은 프롬프트 전체를 한 번에 읽고, 디코드는 답변을 토큰 하나씩 씁니다. 두 단계가 어떻게 다르고 왜 TTFT와 출력 속도를 결정하는지 정리했습니다."
url: https://broadrouter.com/ko/glossary/prefill-and-decode/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/prefill-and-decode/) (2026-11-16 업데이트).

# 프리필과 디코드(prefill and decode)

업데이트 2026-11-16

프리필과 디코드(prefill and decode)는 LLM 추론의 두 단계입니다. 프리필에서 모델은 프롬프트 전체를 병렬로 처리해 KV 캐시를 채우고, 디코드에서는 그 캐시를 재사용하며 답변을 토큰 하나씩 생성합니다. 프리필은 주로 첫 토큰까지의 시간을, 디코드는 출력 속도를 결정합니다.

다른 이름: 프리필, 디코드, 프리필 단계, 디코드 단계, 디코딩 단계, 프롬프트 처리, prefill, prefill phase, decode phase, prefill stage, prompt processing

채팅 요청 하나는 서로 다른 두 가지 일을 합니다. 프롬프트를 읽고, 답변을 씁니다. 추론 엔지니어는 이를 프리필과 디코드라고 부르며, 두 단계는 GPU에서 매우 다르게 동작합니다.

## 작동 방식

1.  **프리필(prefill).** 모델이 모든 프롬프트 토큰을 한 번의 병렬 패스로 읽고, 각 토큰의 어텐션 키와 값을 [KV 캐시](https://broadrouter.com/ko/glossary/kv-cache/)에 저장합니다. 아직 아무것도 반환하지 않습니다.
2.  **디코드(decode).** 모델이 토큰 하나를 생성하고 그 키와 값을 캐시에 추가하는 과정을, 멈추거나 `max_tokens`에 도달할 때까지 반복합니다.

Sarathi-Serve 논문은 그 차이를 분명하게 설명합니다. “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt”(번역: 프리필 반복은 지연 시간이 길지만 입력 프롬프트를 병렬로 처리하므로 GPU 연산을 포화시킵니다)인 반면 “decode iterations have low latency but also low compute utilization.”(번역: 디코드 반복은 지연 시간이 짧지만 연산 활용도도 낮습니다)

두 단계는 사용자가 체감하는 두 가지 지연 시간 수치에 대응합니다. DistServe 논문은 이를 “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.”(번역: 프리필 단계의 첫 토큰까지의 시간(TTFT)과 디코딩 단계의 요청별 출력 토큰당 시간(TPOT))라고 부릅니다.

예를 들어 프롬프트가 20,000토큰이고 답변이 300토큰인 요청은 첫 스트리밍 토큰이 나오기 전에 20,000토큰 전체의 프리필을 마치고, 이어서 300번의 순차적 디코드 단계를 거칩니다. 프롬프트를 절반으로 줄이면 첫 토큰을 기다리는 시간은 짧아지지만, 300토큰이 도착하는 속도는 바뀌지 않습니다.

## 왜 중요한가

-   **[첫 토큰까지의 시간](https://broadrouter.com/ko/glossary/time-to-first-token/)은 프롬프트 크기를 따라갑니다.** 긴 시스템 프롬프트, 문서, 도구 목록은 모두 프리필 작업을 늘립니다. 캐시된 접두부는 그 일부를 건너뛰므로 [캐시된 입력 토큰](https://broadrouter.com/ko/glossary/cached-input-tokens/)이 있으면 긴 프롬프트도 더 빨리 시작할 수 있습니다.
-   **[초당 토큰 수](https://broadrouter.com/ko/glossary/tokens-per-second/)는 디코드 수치입니다.** 출력 속도는 각 디코드 단계가 얼마나 빨리 실행되는지에 달려 있으며, [추측 디코딩](https://broadrouter.com/ko/glossary/speculative-decoding/)은 이를 높이려는 기법입니다.
-   **두 단계는 서로 간섭합니다.** 서버가 같은 GPU에서 두 단계를 모두 실행하면 큰 프리필 하나가 다른 사용자의 디코드를 멈출 수 있습니다. DistServe는 “strong prefill-decoding interferences”(번역: 강한 프리필-디코딩 간섭)를 보고하고 두 단계를 서로 다른 GPU로 분리합니다. Sarathi-Serve는 대신 “splits a prefill request into near equal sized chunks”(번역: 프리필 요청을 거의 같은 크기의 청크로 나누고) 이를 “without pausing ongoing decodes”(번역: 진행 중인 디코드를 멈추지 않고) 스케줄링합니다.
-   **엔진이 이 절충을 노출합니다.** vLLM 튜닝 가이드에 따르면 chunked prefill을 쓰면 프리필 청크를 디코드 요청과 함께 배치로 처리할 수 있습니다. `max_num_batched_tokens`를 작게 하면 토큰 간 지연 시간이 개선되고, 크게 하면 TTFT와 [처리량](https://broadrouter.com/ko/glossary/throughput/)에 유리합니다.

[지연 시간, TTFT, 처리량 가이드](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/)는 클라이언트 쪽에서 두 단계를 측정하는 방법을 보여 줍니다.

## BroadNet Inference에서는

BroadNet은 서버가 프리필과 디코드를 어떻게 스케줄링하는지 공개하지 않습니다. 볼 수 있는 것은 그 결과입니다. [스트리밍 가이드](https://broadrouter.com/ko/guides/streaming-chat-completions/)처럼 응답을 스트리밍하고, 첫 콘텐츠 청크까지의 시간(대부분 프리필과 대기열)과 그 이후의 청크 속도(디코드)를 기록하세요. [GLM 5.3](https://broadrouter.com/ko/models/glm-5.3/), [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/), [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/)에서는 추론(reasoning) 토큰도 디코드에서 생성되므로, 보이는 답변을 늦추고 `max_tokens`에 포함됩니다.

## 흔한 실수

-   첫 토큰이 느린 원인을 모델의 출력 속도 탓으로 돌리는 것. 먼저 프롬프트 길이를 확인하세요.
-   아주 짧은 프롬프트로 벤치마크하는 것. 긴 컨텍스트가 담긴 실제 프롬프트는 프리필이 훨씬 깁니다.

## 자주 묻는 질문

### 프롬프트가 길면 왜 첫 토큰이 느려지나요?

모델이 무언가를 쓰기 전에 모든 프롬프트 토큰이 프리필을 거쳐야 하기 때문입니다. 프롬프트가 길수록 프리필 작업이 늘어나므로, 프롬프트 일부를 캐시에서 제공하지 않는 한 첫 토큰까지의 시간은 프롬프트 길이에 따라 늘어납니다.

### 답변이 길면 첫 토큰도 늦어지나요?

아닙니다. 첫 토큰은 프롬프트의 프리필을 기다립니다. 긴 답변은 첫 토큰이 도착한 뒤의 디코드 단계만 늘립니다.

### chunked prefill이란 무엇인가요?

긴 프롬프트를 조각으로 나눠 진행 중인 디코드 단계와 섞어 처리하는 스케줄링 방식으로, 큰 프롬프트 하나가 다른 사용자를 멈추지 않게 합니다. vLLM은 가능한 경우 이를 기본으로 켭니다.

## 함께 보기

-   [KV 캐시(KV cache)](https://broadrouter.com/ko/glossary/kv-cache/) (용어)
-   [첫 토큰까지의 시간(TTFT)](https://broadrouter.com/ko/glossary/time-to-first-token/) (용어)
-   [초당 토큰 수(TPS, tokens per second)](https://broadrouter.com/ko/glossary/tokens-per-second/) (용어)
-   [처리량(throughput)](https://broadrouter.com/ko/glossary/throughput/) (용어)
-   [지연 시간(latency)](https://broadrouter.com/ko/glossary/latency/) (용어)
-   [vLLM](https://broadrouter.com/ko/glossary/vllm/) (용어)
-   [채팅 완성 스트리밍과 끊긴 연결 처리하기](https://broadrouter.com/ko/guides/streaming-chat-completions/) (가이드)
-   [LLM 지연 시간: TTFT, 초당 토큰 수, 엔드투엔드 시간의 차이](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/) (글)
-   [LLM 자체 호스팅 vs API: 실제 비용과 손익분기점](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-prefill-and-decode&utm_content=page-cta) ·

**출처**

-   [Zhong 외, DistServe: Disaggregating Prefill and Decoding for Goodput-optimized LLM Serving, arXiv 2401.09670 (2026-11-15 확인)](https://arxiv.org/abs/2401.09670)
-   [Agrawal 외, Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve, arXiv 2403.02310 (2026-11-15 확인)](https://arxiv.org/abs/2403.02310)
-   [vLLM 문서, 최적화와 튜닝: chunked prefill (2026-11-15 확인)](https://docs.vllm.ai/en/latest/configuration/optimization/)
