BroadRouter

초당 토큰 수(TPS, tokens per second)

업데이트

초당 토큰 수(TPS)는 언어 모델이 출력 토큰을 생성하는 속도로, 보통 요청 하나에 대해 첫 토큰이 도착한 뒤부터 잽니다. 응답이 시작된 뒤 얼마나 빨리 스트리밍되는지를 결정합니다. 모든 동시 요청을 합하면 시스템 처리량이 되며, 첫 토큰 전의 대기 시간은 따로 측정합니다.

다른 이름: 초당 토큰, 토큰 생성 속도, 출력 속도, 생성 속도, LLM 속도, TPS, tok/s, output speed, generation speed

속도에는 두 부분이 있습니다. 무언가가 나타나기까지 걸리는 시간, 그리고 그 뒤로 텍스트가 흘러나오는 속도입니다. 초당 토큰 수는 두 번째를 잽니다.

작동 방식

NVIDIA 벤치마크 문서는 관련 지표를 이렇게 정의합니다.

  • 첫 토큰까지의 시간(TTFT): 요청을 보낸 뒤 첫 토큰을 받을 때까지. 프롬프트가 길수록 늘어납니다.
  • 토큰 간 지연 시간(ITL): 출력 토큰 사이의 평균 간격.
  • 사용자당 TPS: 요청 하나의 출력 토큰 수를 그 요청의 종단 간 시간으로 나눈 값입니다. NVIDIA 정의에서는 TTFT가 포함됩니다. 많은 대시보드는 대신 이 페이지처럼 첫 토큰 이후의 디코딩 속도를 표시합니다.
  • 시스템 TPS: 모든 동시 요청의 출력 토큰 합계로, 처리량이라고도 합니다.

두 지표는 반대 방향으로 움직입니다. NVIDIA에 따르면 동시 처리가 늘면 시스템 TPS는 오르고 사용자당 TPS는 내려갑니다. 제공업체가 홍보하는 수치와 내 요청 하나의 속도가 둘 다 정직한 값이면서도 다를 수 있습니다.

응답 하나에 대한 간단한 추정식입니다.

total time ≈ TTFT + output tokens ÷ tokens per second

즉 전체 시간은 TTFT에 출력 토큰 수를 초당 토큰 수로 나눈 값을 더한 것과 비슷합니다. 예시로 초당 50토큰인 스트림이라면, 1,000토큰짜리 답변은 첫 토큰 이후 약 20초가 걸립니다. 모델이 추론 토큰도 2,000개 쓴다면 답변이 시작되기 전에 약 40초가 더 걸립니다. 여기에 첫 토큰까지의 시간이 추가됩니다.

왜 중요한가

  • 사용자 경험. 스트리밍은 텍스트가 도착하는 대로 보여 주므로, TTFT와 TPS가 응답의 체감 속도를 결정합니다.
  • 에이전트 처리량. 코딩 에이전트는 다음 단계로 가기 전에 매번 응답을 기다립니다. 출력이 빠를수록 시간당 단계가 늘어납니다.
  • 플랜 한도. 토큰 미터가 없는 플랜에서는 속도가 사용할 수 있는 토큰 양의 실질적인 상한이 됩니다.

BroadNet Inference에서는

BroadNet 플랜 페이지는 DeepSeek V4.1 Flash의 일반적인 속도를 초당 약 100토큰 수준으로 안내합니다. 무제한 플랜의 세션은 한 번에 요청 하나를 처리하므로, 그 속도로 30일 동안 쉬지 않고 생성한 세션이라면 출력 토큰은 약 2.59억 규모가 됩니다. 실제 에이전트는 읽고, 도구를 실행하고, 기다리는 데 시간을 쓰므로 실질적인 수치는 이보다 낮습니다.

플랜에서 전체 처리량을 늘리려면 병렬로 일하는 에이전트마다 세션을 하나씩 추가하세요. 무제한 세션의 작동 방식과 코딩 에이전트 병렬 실행을 참고하세요.

흔한 실수

  • 요청 하나로 제공업체를 비교하는 것. 실제 프롬프트 크기로 여러 요청에 걸쳐 TTFT와 TPS를 측정하세요.
  • 클라이언트 타임아웃을 정할 때 추론 시간을 잊는 것.

자주 묻는 질문

초당 토큰 수는 어느 정도면 괜찮은가요?

용도에 따라 다릅니다. 채팅 응답은 사람이 읽는 속도보다 텍스트가 빨리 나타나면 반응이 좋다고 느껴집니다. 에이전트와 배치 작업에서는 작업당 전체 시간과 병렬로 돌릴 수 있는 요청 수가 더 중요합니다.

초당 토큰 수에 프롬프트도 포함되나요?

보통은 포함되지 않습니다. 생성 속도는 출력 토큰을 셉니다. 프롬프트를 읽는 시간은 대신 첫 토큰까지의 시간에 나타나며, 프롬프트가 길수록 늘어납니다.

추론 토큰 때문에 답변이 늦어지나요?

네. 추론 토큰은 보이는 출력과 같은 속도로 생성되므로, 2,000토큰 동안 생각하는 모델은 그 토큰을 생성하는 시간만큼 답변이 늦어집니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기