---
title: "LLM API의 TTFT(첫 토큰까지의 시간)란? | BroadRouter"
description: "첫 토큰까지의 시간(TTFT)은 LLM 요청을 보낸 뒤 첫 출력 토큰을 받기까지의 대기 시간입니다. 대기열, 프리필, 네트워크 등 TTFT를 이루는 요소를 정리했습니다."
url: https://broadrouter.com/ko/glossary/time-to-first-token/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/time-to-first-token/) (2026-11-16 업데이트).

# 첫 토큰까지의 시간(TTFT)

업데이트 2026-11-16

첫 토큰까지의 시간(TTFT)은 언어 모델에 요청을 보낸 시점부터 첫 출력 토큰이 도착할 때까지의 시간입니다. 네트워크 시간, 서버의 대기열 시간, 그리고 모델이 프롬프트 전체를 읽는 단계인 프리필(prefill)이 포함되므로, 프롬프트가 길고 부하가 클수록 늘어납니다.

다른 이름: TTFT, 첫 토큰 지연 시간, 첫 토큰 시간, 첫 응답 시간, 첫 콘텐츠 토큰까지의 시간, time to first token, first-token latency, time to first content token, first token time

TTFT는 아무 일도 일어나지 않는 것처럼 보이는 공백입니다. 채팅 창에서는 빈 화면이고, 음성 봇에서는 정적입니다.

## 작동 방식

NVIDIA의 벤치마킹 가이드는 TTFT를 “request queuing time, prefill time, and network latency”(번역: 요청 대기열 시간, 프리필 시간, 네트워크 지연 시간) 세 부분으로 나눕니다. 각각 원인이 다릅니다.

| 구성 요소 | 좌우하는 요인 | 바꿀 수 있는 것 |
| --- | --- | --- |
| 네트워크 | 거리, TLS 설정, 프록시 | 연결 재사용, 가까운 리전에서 호출 |
| 대기열 | 서버가 얼마나 붐비는지 | 한가한 시간대 이용, 부하가 덜한 모델이나 등급 |
| 프리필 | 프롬프트 길이, 모델 크기 | 짧은 프롬프트, 캐시 가능한 고정 접두부 |

입력이 길면 보통 프리필이 가장 큽니다. 모델은 첫 토큰을 만들기 전에 프롬프트 전체를 모든 레이어에 통과시켜 [KV 캐시](https://broadrouter.com/ko/glossary/kv-cache/)를 만듭니다. NVIDIA에 따르면 붐비는 서버에서는 한 요청의 프리필이 다른 요청의 생성과 겹칠 수 있으므로, TTFT는 다른 사람들의 트래픽에 따라서도 달라집니다.

수치를 읽을 때는 두 가지 정의가 중요합니다. NVIDIA의 AIPerf는 콘텐츠가 있는 경우에만 첫 토큰으로 셉니다. Responses API의 스트리밍 텍스트에 대해 OpenAI 가이드는 TTFT를 “until you receive the first nonempty response.output\_text.delta”(번역: 비어 있지 않은 첫 response.output\_text.delta를 받을 때까지)로 잽니다. [추론 토큰](https://broadrouter.com/ko/glossary/reasoning-tokens/)이 있으면 처음 보이는 단어가 처음 생성된 토큰보다 훨씬 늦게 나올 수 있으므로, 어느 쪽을 말하는지 밝히세요.

## 왜 중요한가

제품이 얼마나 빠르게 느껴지는지는 순수한 속도보다 TTFT가 더 크게 좌우합니다. OpenAI 가이드는 “a long prompt can delay the first token, especially when much of the input is new”(번역: 긴 프롬프트는 첫 토큰을 늦출 수 있으며, 입력의 상당 부분이 새로울 때 특히 그렇다)라고 말합니다. 여기서 [캐시된 입력 토큰](https://broadrouter.com/ko/glossary/cached-input-tokens/)이 도움이 됩니다. 같은 가이드는 프롬프트 캐싱이 “can reuse an eligible exact prefix match”(번역: 조건에 맞는 정확히 일치하는 접두부를 재사용할 수 있다)라고 말하며, 캐시 적중이 있을 때와 없을 때의 TTFT를 비교해 보라고 권합니다. 캐시된 접두부는 프리필의 일부를 건너뛰므로, 반복되는 시스템 프롬프트는 비용이 덜 들고 더 빨리 시작될 수 있습니다.

에이전트는 단계마다 TTFT를 치릅니다. TTFT가 2초인 도구 호출 20번이면, 출력을 세기도 전에 40초를 기다리게 됩니다.

TTFT는 엔드투엔드 [지연 시간](https://broadrouter.com/ko/glossary/latency/)의 한 부분입니다. 나머지는 생성 시간이며, 이는 [초당 토큰 수](https://broadrouter.com/ko/glossary/tokens-per-second/)가 정합니다.

## BroadNet Inference에서는

BroadNet 문서는 `data: [DONE]`으로 끝나는 서버 전송 이벤트(Server-Sent Events) 방식의 [스트리밍](https://broadrouter.com/ko/glossary/streaming/)을 설명하며, 클라이언트에서는 이것으로 첫 토큰을 관찰합니다. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하므로, 처음 보이는 텍스트까지의 시간에는 생각하는 시간이 포함됩니다. BroadNet은 TTFT 수치를 공개하지 않습니다. 측정 스크립트와 p50/p95 보고 방법은 [LLM 지연 시간: TTFT와 초당 토큰 수](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/)를 참고하세요.

## 자주 묻는 질문

### 프롬프트가 길면 TTFT가 느린 이유는 무엇인가요?

모델이 무엇이든 쓰기 전에 프롬프트 토큰을 모두 읽고 KV 캐시를 만들어야 하기 때문입니다. NVIDIA의 지표 가이드도 바로 이 이유로 프롬프트가 길수록 TTFT가 늘어난다고 설명합니다.

### 스트리밍을 쓰면 첫 토큰까지의 시간이 줄어드나요?

아닙니다. 스트리밍은 첫 토큰이 생기자마자 볼 수 있게 해 줄 뿐이고, 스트리밍이 없으면 응답 전체를 기다려야 합니다. 그 토큰이 나오기 전까지 서버가 하는 일은 어느 쪽이든 같습니다.

### 비어 있는 첫 청크도 첫 토큰으로 치나요?

대부분의 벤치마크에서는 아닙니다. NVIDIA의 AIPerf는 콘텐츠가 없는 초기 응답을 무시하고, OpenAI는 비어 있지 않은 첫 텍스트 델타까지를 TTFT로 잽니다.

## 함께 보기

-   [지연 시간(latency)](https://broadrouter.com/ko/glossary/latency/) (용어)
-   [초당 토큰 수(TPS, tokens per second)](https://broadrouter.com/ko/glossary/tokens-per-second/) (용어)
-   [KV 캐시(KV cache)](https://broadrouter.com/ko/glossary/kv-cache/) (용어)
-   [스트리밍(streaming)](https://broadrouter.com/ko/glossary/streaming/) (용어)
-   [캐시된 입력 토큰(cached input tokens)](https://broadrouter.com/ko/glossary/cached-input-tokens/) (용어)
-   [추측 디코딩(speculative decoding)](https://broadrouter.com/ko/glossary/speculative-decoding/) (용어)
-   [프리필과 디코드(prefill and decode)](https://broadrouter.com/ko/glossary/prefill-and-decode/) (용어)
-   [채팅 완성 스트리밍과 끊긴 연결 처리하기](https://broadrouter.com/ko/guides/streaming-chat-completions/) (가이드)
-   [추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/) (가이드)
-   [LLM 지연 시간: TTFT, 초당 토큰 수, 엔드투엔드 시간의 차이](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/) (글)
-   [LLM 스트리밍 원리: SSE 청크, 델타, usage, 취소](https://broadrouter.com/ko/blog/llm-streaming-sse-explained/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-time-to-first-token&utm_content=page-cta) ·

**출처**

-   [NVIDIA NIM, LLM 벤치마킹 지표(첫 토큰까지의 시간)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, 지연 시간 최적화 가이드](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [BroadNet Inference API 레퍼런스, 스트리밍과 추론 (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-time-to-first-token&utm_content=sources)
