속도에는 두 부분이 있습니다. 무언가가 나타나기까지 걸리는 시간, 그리고 그 뒤로 텍스트가 흘러나오는 속도입니다. 초당 토큰 수는 두 번째를 잽니다.
작동 방식
NVIDIA 벤치마크 문서는 관련 지표를 이렇게 정의합니다.
- 첫 토큰까지의 시간(TTFT): 요청을 보낸 뒤 첫 토큰을 받을 때까지. 프롬프트가 길수록 늘어납니다.
- 토큰 간 지연 시간(ITL): 출력 토큰 사이의 평균 간격.
- 사용자당 TPS: 요청 하나의 출력 토큰 수를 그 요청의 종단 간 시간으로 나눈 값입니다. NVIDIA 정의에서는 TTFT가 포함됩니다. 많은 대시보드는 대신 이 페이지처럼 첫 토큰 이후의 디코딩 속도를 표시합니다.
- 시스템 TPS: 모든 동시 요청의 출력 토큰 합계로, 처리량이라고도 합니다.
두 지표는 반대 방향으로 움직입니다. NVIDIA에 따르면 동시 처리가 늘면 시스템 TPS는 오르고 사용자당 TPS는 내려갑니다. 제공업체가 홍보하는 수치와 내 요청 하나의 속도가 둘 다 정직한 값이면서도 다를 수 있습니다.
응답 하나에 대한 간단한 추정식입니다.
total time ≈ TTFT + output tokens ÷ tokens per second
즉 전체 시간은 TTFT에 출력 토큰 수를 초당 토큰 수로 나눈 값을 더한 것과 비슷합니다. 예시로 초당 50토큰인 스트림이라면, 1,000토큰짜리 답변은 첫 토큰 이후 약 20초가 걸립니다. 모델이 추론 토큰도 2,000개 쓴다면 답변이 시작되기 전에 약 40초가 더 걸립니다. 여기에 첫 토큰까지의 시간이 추가됩니다.
왜 중요한가
- 사용자 경험. 스트리밍은 텍스트가 도착하는 대로 보여 주므로, TTFT와 TPS가 응답의 체감 속도를 결정합니다.
- 에이전트 처리량. 코딩 에이전트는 다음 단계로 가기 전에 매번 응답을 기다립니다. 출력이 빠를수록 시간당 단계가 늘어납니다.
- 플랜 한도. 토큰 미터가 없는 플랜에서는 속도가 사용할 수 있는 토큰 양의 실질적인 상한이 됩니다.
BroadNet Inference에서는
BroadNet 플랜 페이지는 DeepSeek V4.1 Flash의 일반적인 속도를 초당 약 100토큰 수준으로 안내합니다. 무제한 플랜의 세션은 한 번에 요청 하나를 처리하므로, 그 속도로 30일 동안 쉬지 않고 생성한 세션이라면 출력 토큰은 약 2.59억 규모가 됩니다. 실제 에이전트는 읽고, 도구를 실행하고, 기다리는 데 시간을 쓰므로 실질적인 수치는 이보다 낮습니다.
플랜에서 전체 처리량을 늘리려면 병렬로 일하는 에이전트마다 세션을 하나씩 추가하세요. 무제한 세션의 작동 방식과 코딩 에이전트 병렬 실행을 참고하세요.
흔한 실수
- 요청 하나로 제공업체를 비교하는 것. 실제 프롬프트 크기로 여러 요청에 걸쳐 TTFT와 TPS를 측정하세요.
- 클라이언트 타임아웃을 정할 때 추론 시간을 잊는 것.