BroadRouter

첫 토큰까지의 시간(TTFT)

업데이트

첫 토큰까지의 시간(TTFT)은 언어 모델에 요청을 보낸 시점부터 첫 출력 토큰이 도착할 때까지의 시간입니다. 네트워크 시간, 서버의 대기열 시간, 그리고 모델이 프롬프트 전체를 읽는 단계인 프리필(prefill)이 포함되므로, 프롬프트가 길고 부하가 클수록 늘어납니다.

다른 이름: TTFT, 첫 토큰 지연 시간, 첫 토큰 시간, 첫 응답 시간, 첫 콘텐츠 토큰까지의 시간, time to first token, first-token latency, time to first content token, first token time

TTFT는 아무 일도 일어나지 않는 것처럼 보이는 공백입니다. 채팅 창에서는 빈 화면이고, 음성 봇에서는 정적입니다.

작동 방식

NVIDIA의 벤치마킹 가이드는 TTFT를 “request queuing time, prefill time, and network latency”(번역: 요청 대기열 시간, 프리필 시간, 네트워크 지연 시간) 세 부분으로 나눕니다. 각각 원인이 다릅니다.

구성 요소 좌우하는 요인 바꿀 수 있는 것
네트워크 거리, TLS 설정, 프록시 연결 재사용, 가까운 리전에서 호출
대기열 서버가 얼마나 붐비는지 한가한 시간대 이용, 부하가 덜한 모델이나 등급
프리필 프롬프트 길이, 모델 크기 짧은 프롬프트, 캐시 가능한 고정 접두부

입력이 길면 보통 프리필이 가장 큽니다. 모델은 첫 토큰을 만들기 전에 프롬프트 전체를 모든 레이어에 통과시켜 KV 캐시를 만듭니다. NVIDIA에 따르면 붐비는 서버에서는 한 요청의 프리필이 다른 요청의 생성과 겹칠 수 있으므로, TTFT는 다른 사람들의 트래픽에 따라서도 달라집니다.

수치를 읽을 때는 두 가지 정의가 중요합니다. NVIDIA의 AIPerf는 콘텐츠가 있는 경우에만 첫 토큰으로 셉니다. Responses API의 스트리밍 텍스트에 대해 OpenAI 가이드는 TTFT를 “until you receive the first nonempty response.output_text.delta”(번역: 비어 있지 않은 첫 response.output_text.delta를 받을 때까지)로 잽니다. 추론 토큰이 있으면 처음 보이는 단어가 처음 생성된 토큰보다 훨씬 늦게 나올 수 있으므로, 어느 쪽을 말하는지 밝히세요.

왜 중요한가

제품이 얼마나 빠르게 느껴지는지는 순수한 속도보다 TTFT가 더 크게 좌우합니다. OpenAI 가이드는 “a long prompt can delay the first token, especially when much of the input is new”(번역: 긴 프롬프트는 첫 토큰을 늦출 수 있으며, 입력의 상당 부분이 새로울 때 특히 그렇다)라고 말합니다. 여기서 캐시된 입력 토큰이 도움이 됩니다. 같은 가이드는 프롬프트 캐싱이 “can reuse an eligible exact prefix match”(번역: 조건에 맞는 정확히 일치하는 접두부를 재사용할 수 있다)라고 말하며, 캐시 적중이 있을 때와 없을 때의 TTFT를 비교해 보라고 권합니다. 캐시된 접두부는 프리필의 일부를 건너뛰므로, 반복되는 시스템 프롬프트는 비용이 덜 들고 더 빨리 시작될 수 있습니다.

에이전트는 단계마다 TTFT를 치릅니다. TTFT가 2초인 도구 호출 20번이면, 출력을 세기도 전에 40초를 기다리게 됩니다.

TTFT는 엔드투엔드 지연 시간의 한 부분입니다. 나머지는 생성 시간이며, 이는 초당 토큰 수가 정합니다.

BroadNet Inference에서는

BroadNet 문서는 data: [DONE]으로 끝나는 서버 전송 이벤트(Server-Sent Events) 방식의 스트리밍을 설명하며, 클라이언트에서는 이것으로 첫 토큰을 관찰합니다. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하므로, 처음 보이는 텍스트까지의 시간에는 생각하는 시간이 포함됩니다. BroadNet은 TTFT 수치를 공개하지 않습니다. 측정 스크립트와 p50/p95 보고 방법은 LLM 지연 시간: TTFT와 초당 토큰 수를 참고하세요.

자주 묻는 질문

프롬프트가 길면 TTFT가 느린 이유는 무엇인가요?

모델이 무엇이든 쓰기 전에 프롬프트 토큰을 모두 읽고 KV 캐시를 만들어야 하기 때문입니다. NVIDIA의 지표 가이드도 바로 이 이유로 프롬프트가 길수록 TTFT가 늘어난다고 설명합니다.

스트리밍을 쓰면 첫 토큰까지의 시간이 줄어드나요?

아닙니다. 스트리밍은 첫 토큰이 생기자마자 볼 수 있게 해 줄 뿐이고, 스트리밍이 없으면 응답 전체를 기다려야 합니다. 그 토큰이 나오기 전까지 서버가 하는 일은 어느 쪽이든 같습니다.

비어 있는 첫 청크도 첫 토큰으로 치나요?

대부분의 벤치마크에서는 아닙니다. NVIDIA의 AIPerf는 콘텐츠가 없는 초기 응답을 무시하고, OpenAI는 비어 있지 않은 첫 텍스트 델타까지를 TTFT로 잽니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기