---
title: "LLM 추론의 초당 토큰 수(TPS)란? | BroadRouter"
description: "초당 토큰 수(TPS)는 LLM이 출력을 얼마나 빨리 생성하는지 나타냅니다. 요청당 속도와 시스템 처리량의 차이, 첫 토큰까지의 시간, 응답 시간 추정법을 정리했습니다."
url: https://broadrouter.com/ko/glossary/tokens-per-second/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/tokens-per-second/) (2026-11-14 업데이트).

# 초당 토큰 수(TPS, tokens per second)

업데이트 2026-11-14

초당 토큰 수(TPS)는 언어 모델이 출력 토큰을 생성하는 속도로, 보통 요청 하나에 대해 첫 토큰이 도착한 뒤부터 잽니다. 응답이 시작된 뒤 얼마나 빨리 스트리밍되는지를 결정합니다. 모든 동시 요청을 합하면 시스템 처리량이 되며, 첫 토큰 전의 대기 시간은 따로 측정합니다.

다른 이름: 초당 토큰, 토큰 생성 속도, 출력 속도, 생성 속도, LLM 속도, TPS, tok/s, output speed, generation speed

속도에는 두 부분이 있습니다. 무언가가 나타나기까지 걸리는 시간, 그리고 그 뒤로 텍스트가 흘러나오는 속도입니다. 초당 토큰 수는 두 번째를 잽니다.

## 작동 방식

NVIDIA 벤치마크 문서는 관련 지표를 이렇게 정의합니다.

-   **첫 토큰까지의 시간(TTFT):** 요청을 보낸 뒤 첫 토큰을 받을 때까지. 프롬프트가 길수록 늘어납니다.
-   **토큰 간 지연 시간(ITL):** 출력 토큰 사이의 평균 간격.
-   **사용자당 TPS:** 요청 하나의 출력 토큰 수를 그 요청의 종단 간 시간으로 나눈 값입니다. NVIDIA 정의에서는 TTFT가 포함됩니다. 많은 대시보드는 대신 이 페이지처럼 첫 토큰 이후의 디코딩 속도를 표시합니다.
-   **시스템 TPS:** 모든 동시 요청의 출력 토큰 합계로, [처리량](https://broadrouter.com/ko/glossary/throughput/)이라고도 합니다.

두 지표는 반대 방향으로 움직입니다. NVIDIA에 따르면 [동시 처리](https://broadrouter.com/ko/glossary/concurrency/)가 늘면 시스템 TPS는 오르고 사용자당 TPS는 내려갑니다. 제공업체가 홍보하는 수치와 내 요청 하나의 속도가 둘 다 정직한 값이면서도 다를 수 있습니다.

응답 하나에 대한 간단한 추정식입니다.

`total time ≈ TTFT + output tokens ÷ tokens per second`

즉 전체 시간은 TTFT에 출력 토큰 수를 초당 토큰 수로 나눈 값을 더한 것과 비슷합니다. 예시로 초당 50토큰인 스트림이라면, 1,000토큰짜리 답변은 첫 토큰 이후 약 20초가 걸립니다. 모델이 [추론 토큰](https://broadrouter.com/ko/glossary/reasoning-tokens/)도 2,000개 쓴다면 답변이 시작되기 전에 약 40초가 더 걸립니다. 여기에 [첫 토큰까지의 시간](https://broadrouter.com/ko/glossary/time-to-first-token/)이 추가됩니다.

## 왜 중요한가

-   **사용자 경험.** [스트리밍](https://broadrouter.com/ko/glossary/streaming/)은 텍스트가 도착하는 대로 보여 주므로, TTFT와 TPS가 응답의 체감 속도를 결정합니다.
-   **에이전트 처리량.** 코딩 에이전트는 다음 단계로 가기 전에 매번 응답을 기다립니다. 출력이 빠를수록 시간당 단계가 늘어납니다.
-   **플랜 한도.** 토큰 미터가 없는 플랜에서는 속도가 사용할 수 있는 토큰 양의 실질적인 상한이 됩니다.

## BroadNet Inference에서는

BroadNet 플랜 페이지는 DeepSeek V4.1 Flash의 일반적인 속도를 초당 약 100토큰 수준으로 안내합니다. 무제한 플랜의 세션은 한 번에 요청 하나를 처리하므로, 그 속도로 30일 동안 쉬지 않고 생성한 세션이라면 출력 토큰은 약 2.59억 규모가 됩니다. 실제 에이전트는 읽고, 도구를 실행하고, 기다리는 데 시간을 쓰므로 실질적인 수치는 이보다 낮습니다.

플랜에서 전체 처리량을 늘리려면 병렬로 일하는 에이전트마다 세션을 하나씩 추가하세요. [무제한 세션의 작동 방식](https://broadrouter.com/ko/guides/unlimited-llm-api-sessions/)과 [코딩 에이전트 병렬 실행](https://broadrouter.com/ko/blog/run-parallel-coding-agents-flat-rate/)을 참고하세요.

## 흔한 실수

-   요청 하나로 제공업체를 비교하는 것. 실제 프롬프트 크기로 여러 요청에 걸쳐 TTFT와 TPS를 측정하세요.
-   클라이언트 타임아웃을 정할 때 추론 시간을 잊는 것.

## 자주 묻는 질문

### 초당 토큰 수는 어느 정도면 괜찮은가요?

용도에 따라 다릅니다. 채팅 응답은 사람이 읽는 속도보다 텍스트가 빨리 나타나면 반응이 좋다고 느껴집니다. 에이전트와 배치 작업에서는 작업당 전체 시간과 병렬로 돌릴 수 있는 요청 수가 더 중요합니다.

### 초당 토큰 수에 프롬프트도 포함되나요?

보통은 포함되지 않습니다. 생성 속도는 출력 토큰을 셉니다. 프롬프트를 읽는 시간은 대신 첫 토큰까지의 시간에 나타나며, 프롬프트가 길수록 늘어납니다.

### 추론 토큰 때문에 답변이 늦어지나요?

네. 추론 토큰은 보이는 출력과 같은 속도로 생성되므로, 2,000토큰 동안 생각하는 모델은 그 토큰을 생성하는 시간만큼 답변이 늦어집니다.

## 함께 보기

-   [토큰(token)](https://broadrouter.com/ko/glossary/token/) (용어)
-   [동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/) (용어)
-   [스트리밍(streaming)](https://broadrouter.com/ko/glossary/streaming/) (용어)
-   [추론 토큰(reasoning tokens)](https://broadrouter.com/ko/glossary/reasoning-tokens/) (용어)
-   [처리량(throughput)](https://broadrouter.com/ko/glossary/throughput/) (용어)
-   [지연 시간(latency)](https://broadrouter.com/ko/glossary/latency/) (용어)
-   [첫 토큰까지의 시간(TTFT)](https://broadrouter.com/ko/glossary/time-to-first-token/) (용어)
-   [추측 디코딩(speculative decoding)](https://broadrouter.com/ko/glossary/speculative-decoding/) (용어)
-   [채팅 완성 스트리밍과 끊긴 연결 처리하기](https://broadrouter.com/ko/guides/streaming-chat-completions/) (가이드)
-   [에이전트용 무제한 LLM API 플랜은 어떻게 작동하나요?](https://broadrouter.com/ko/guides/unlimited-llm-api-sessions/) (가이드)
-   [LLM API 정액제 vs 토큰당 과금: 손익분기점 계산](https://broadrouter.com/ko/blog/flat-rate-vs-pay-per-token-llm-api/) (글)
-   [정액제 LLM API로 코딩 에이전트를 병렬 실행하는 방법](https://broadrouter.com/ko/blog/run-parallel-coding-agents-flat-rate/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-tokens-per-second&utm_content=page-cta) ·

**출처**

-   [NVIDIA NIM, LLM 추론 벤치마크 지표(TTFT, ITL, TPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [BroadNet Inference 플랜(일반적인 속도) (영어)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-tokens-per-second&utm_content=sources)
