TTFT는 아무 일도 일어나지 않는 것처럼 보이는 공백입니다. 채팅 창에서는 빈 화면이고, 음성 봇에서는 정적입니다.
작동 방식
NVIDIA의 벤치마킹 가이드는 TTFT를 “request queuing time, prefill time, and network latency”(번역: 요청 대기열 시간, 프리필 시간, 네트워크 지연 시간) 세 부분으로 나눕니다. 각각 원인이 다릅니다.
| 구성 요소 | 좌우하는 요인 | 바꿀 수 있는 것 |
|---|---|---|
| 네트워크 | 거리, TLS 설정, 프록시 | 연결 재사용, 가까운 리전에서 호출 |
| 대기열 | 서버가 얼마나 붐비는지 | 한가한 시간대 이용, 부하가 덜한 모델이나 등급 |
| 프리필 | 프롬프트 길이, 모델 크기 | 짧은 프롬프트, 캐시 가능한 고정 접두부 |
입력이 길면 보통 프리필이 가장 큽니다. 모델은 첫 토큰을 만들기 전에 프롬프트 전체를 모든 레이어에 통과시켜 KV 캐시를 만듭니다. NVIDIA에 따르면 붐비는 서버에서는 한 요청의 프리필이 다른 요청의 생성과 겹칠 수 있으므로, TTFT는 다른 사람들의 트래픽에 따라서도 달라집니다.
수치를 읽을 때는 두 가지 정의가 중요합니다. NVIDIA의 AIPerf는 콘텐츠가 있는 경우에만 첫 토큰으로 셉니다. Responses API의 스트리밍 텍스트에 대해 OpenAI 가이드는 TTFT를 “until you receive the first nonempty response.output_text.delta”(번역: 비어 있지 않은 첫 response.output_text.delta를 받을 때까지)로 잽니다. 추론 토큰이 있으면 처음 보이는 단어가 처음 생성된 토큰보다 훨씬 늦게 나올 수 있으므로, 어느 쪽을 말하는지 밝히세요.
왜 중요한가
제품이 얼마나 빠르게 느껴지는지는 순수한 속도보다 TTFT가 더 크게 좌우합니다. OpenAI 가이드는 “a long prompt can delay the first token, especially when much of the input is new”(번역: 긴 프롬프트는 첫 토큰을 늦출 수 있으며, 입력의 상당 부분이 새로울 때 특히 그렇다)라고 말합니다. 여기서 캐시된 입력 토큰이 도움이 됩니다. 같은 가이드는 프롬프트 캐싱이 “can reuse an eligible exact prefix match”(번역: 조건에 맞는 정확히 일치하는 접두부를 재사용할 수 있다)라고 말하며, 캐시 적중이 있을 때와 없을 때의 TTFT를 비교해 보라고 권합니다. 캐시된 접두부는 프리필의 일부를 건너뛰므로, 반복되는 시스템 프롬프트는 비용이 덜 들고 더 빨리 시작될 수 있습니다.
에이전트는 단계마다 TTFT를 치릅니다. TTFT가 2초인 도구 호출 20번이면, 출력을 세기도 전에 40초를 기다리게 됩니다.
TTFT는 엔드투엔드 지연 시간의 한 부분입니다. 나머지는 생성 시간이며, 이는 초당 토큰 수가 정합니다.
BroadNet Inference에서는
BroadNet 문서는 data: [DONE]으로 끝나는 서버 전송 이벤트(Server-Sent Events) 방식의 스트리밍을 설명하며, 클라이언트에서는 이것으로 첫 토큰을 관찰합니다. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하므로, 처음 보이는 텍스트까지의 시간에는 생각하는 시간이 포함됩니다. BroadNet은 TTFT 수치를 공개하지 않습니다. 측정 스크립트와 p50/p95 보고 방법은 LLM 지연 시간: TTFT와 초당 토큰 수를 참고하세요.