“API가 느리다”는 말은 세 가지 다른 뜻일 수 있고, 각각 해결책도 다릅니다. 채팅 사용자는 첫 단어를 기다립니다. 에이전트는 도구 호출 전체를 기다립니다. 배치 작업은 시간당 토큰 수를 신경 씁니다. 이 글은 세 가지 수치를 정의하고, 직접 작성한 코드로 측정하는 방법을 보여 주며, 각 개선책이 실제로 어느 수치를 움직이는지 연결합니다.
TTFT, 초당 토큰 수, 엔드투엔드 지연 시간은 무엇인가요?
NVIDIA의 벤치마킹 가이드가 명확한 정의를 제공하며, 이는 클라이언트에서 관찰할 수 있는 것과 일치합니다.
| 지표 | 측정 대상 | 체감하는 사람 | 좌우하는 요인 |
|---|---|---|---|
| 첫 토큰까지의 시간(TTFT) | 요청 전송 → 첫 토큰 수신 | 채팅 사용자 | 네트워크, 대기열, 프롬프트 길이(프리필), 캐시 적중 |
| 토큰 간 지연 시간(ITL) | 토큰 사이의 평균 간격 | 스트리밍되는 답변을 읽는 사람 | 모델 크기, 하드웨어, 서버 부하 |
| 사용자당 초당 토큰 수 | 첫 토큰 이후의 출력 토큰 수 ÷ 생성 시간(첫 토큰부터 마지막 토큰까지). 평균 ITL의 역수(1 ÷ ITL)와 같음 | 읽는 사람, 에이전트 | ITL과 같음 |
| 엔드투엔드 지연 시간 | 요청 전송 → 마지막 토큰 수신 | 에이전트, API, 배치 | TTFT + 생성 시간 |
이들을 묶는 공식은 다음과 같습니다.
엔드투엔드 ≈ TTFT + (출력 토큰 수 − 1) × ITL ≈ TTFT + 출력 토큰 수 ÷ 사용자당 초당 토큰 수
사용자당 속도는 서버가 모든 사용자에게 만들어 내는 토큰의 총량인 서버 처리량과 같지 않습니다. 제공업체는 한쪽을 올리면서 다른 쪽이 떨어지게 할 수 있습니다.
BroadNet이 플랜 모델에 대해 공개한 일반적인 속도인 초당 약 100토큰를 기준으로 생각해 봅시다. 생성 시간은 답변 길이에 비례하므로 4,000토큰짜리 코드 파일은 50토큰짜리 분류보다 생성에 약 80배 오래 걸리고, TTFT는 둘 다 같습니다. 짧은 답변에서는 TTFT가 대기 시간의 대부분이고, 긴 답변에서는 속도와 길이가 대부분입니다.
추론 모델에는 왜 네 번째 수치가 필요한가요?
DeepSeek V4.1 Flash 같은 추론 모델은 답하기 전에 생각하며, 그 생각도 출력 토큰입니다. 모델이 초당 약 100토큰 속도로 추론에 800토큰을 쓴다면, 통신상의 TTFT가 빨라 보여도 사용자는 그 800토큰이 모두 생성될 때까지 첫 번째로 보이는 단어를 기다립니다. 그러므로 첫 콘텐츠 토큰까지의 시간을 따로 측정하세요. BroadNet Inference에서는 reasoning_effort: "low"로 단순한 단계의 생각을 줄일 수 있습니다. 그 장단점은 추론 가이드에서 설명합니다.
클라이언트에서 지연 시간은 어떻게 측정하나요?
사용자가 있는 곳에서 스트리밍을 켠 상태로 측정하세요. 서버 쪽 타이머는 네트워크와 중간 프록시를 놓칩니다.
import os, time, statistics
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def timed(model, messages, max_tokens=1500):
t0 = time.perf_counter()
first = first_content = None
usage = None
stream = client.chat.completions.create(
model=model, messages=messages, max_tokens=max_tokens,
stream=True, stream_options={"include_usage": True},
)
for chunk in stream:
now = time.perf_counter()
if chunk.choices:
if first is None:
first = now
if chunk.choices[0].delta.content and first_content is None:
first_content = now
if chunk.usage:
usage = chunk.usage
end = time.perf_counter()
out = usage.completion_tokens if usage else 0
return {
"ttft": first - t0,
"ttfct": (first_content or end) - t0,
"e2e": end - t0,
"tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
"prompt_tokens": usage.prompt_tokens if usage else None,
}
runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
xs = sorted(r[k] for r in runs)
print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
공정한 벤치마크를 위한 다섯 가지 규칙:
- 프롬프트 길이를 고정하고 그 값을 함께 보고하세요. 프롬프트 토큰 500개일 때와 200,000개일 때의 TTFT는 서로 다른 수치입니다. 토큰 계산기로 테스트 프롬프트를 보내기 전에 길이를 알 수 있습니다.
- 출력 길이를 고정하세요.
max_tokens와 그 길이를 채우는 프롬프트를 쓰면 초당 토큰 수를 비교할 수 있습니다. - 평균이 아니라 p50과 p95를 보고하세요. 사용자가 기억하는 것은 꼬리 지연입니다.
- 실행을 시간대별로 나누세요. 부하는 하루 중에도 달라집니다.
- 먼저 워밍업하세요. 첫 호출은 DNS, TLS, 연결 설정 비용을 치릅니다. 클라이언트 하나를 재사용하세요.
각 수치를 실제로 개선하는 방법은 무엇인가요?
| 개선 대상 | 방법 | 이유 |
|---|---|---|
| TTFT | 프롬프트 프리픽스를 줄이거나 캐시 | 프리필 시간은 프롬프트 길이에 따라 늘어나고, 캐시된 프리픽스는 작업을 건너뜀 |
| TTFT | 연결을 유지하고 가까운 지역 사용 | 설정 시간과 왕복을 없앰 |
| 첫 콘텐츠 토큰까지의 시간 | 추론 강도를 낮추거나, 단순한 단계에는 비추론 모델 사용 | 답변 전 숨은 생각이 줄어듦 |
| 초당 토큰 수 | 해당 단계에 더 작거나 빠른 모델 사용 | 디코딩 속도는 모델 크기와 서빙 방식에 달려 있음 |
| 엔드투엔드 | 더 짧은 출력 요청(스키마, 단어 수 제한) | 출력 길이가 ITL에 곱해짐 |
| 여러 호출의 엔드투엔드 | 독립적인 호출을 동시 요청 한도 안에서 병렬 실행 | 호출 하나하나는 같아도 전체 소요 시간이 줄어듦 |
| 체감 지연 시간 | 사용자에게 스트리밍 | 모델이 쓰는 동안 읽을 수 있음 |
출력 길이는 가장 과소평가되는 레버입니다. “답을 설명해 주세요” 대신 “이 네 필드를 담은 JSON”을 요청하면 인프라 작업 없이도 생성 시간을 10분의 1 수준으로 줄일 수 있습니다. 여기에는 구조화된 출력이 도움이 됩니다.
캐시 레버는 캐싱을 위한 프롬프트 구조에서 다룹니다. 병렬 처리 레버는 금방 속도 제한에 부딪힙니다. 429 오류 처리를 참고하세요.
프롬프트 길이는 이 균형을 어떻게 바꾸나요?
모델은 쓰기 시작하기 전에 모든 입력 토큰을 처리해야 하므로, TTFT는 프롬프트 길이에 따라 늘어납니다. 이것이 매우 긴 프롬프트의 숨은 비용이며, 긴 컨텍스트와 RAG 사이의 선택에도 영향을 줍니다. 100만 토큰짜리 프롬프트는 RAG로 답하지 못하는 질문에도 답하지만, 시작이 더 느립니다. 대화형 속도가 중요하다면 자주 쓰는 경로는 짧게 유지하고, 질문에 필요할 때만 큰 컨텍스트를 보내세요.
BroadNet Inference는 어디에 적합한가요?
BroadNet은 플랜 모델의 일반적인 속도를 초당 약 100토큰 수준으로 공개하고 표준 SSE 형식으로 스트리밍하므로, 위 코드를 그대로 쓸 수 있습니다. TTFT 수치나 지연 시간 SLA는 공개하지 않으므로, 결정하기 전에 여러분의 프롬프트로 직접 측정하세요. $1 요금의 Meteor 1시간이면 50회 벤치마크에 충분하고, 시작 크레딧으로 Gemma 4 VL 26B에서 한 번 돌려 볼 수 있습니다. 대규모로 1초 미만의 지연 시간을 보장받아야 한다면 신중하게 테스트하세요. 종량제 키는 동시 요청을 4개까지 허용하므로, 대량의 실시간 서비스보다는 앱과 에이전트에 더 맞습니다. 모델과 가격은 모델과 가격 페이지에 있습니다.
