BroadRouter

입력 토큰과 출력 토큰(input and output tokens)

업데이트

입력 토큰은 언어 모델이 요청에서 읽는 토큰으로, 시스템 프롬프트, 대화 기록, 도구 정의, 이미지가 포함됩니다. 출력 토큰은 모델이 응답으로 생성하는 토큰으로, 추론도 포함됩니다. LLM API는 보통 둘에 따로 가격을 매기며, 대개 출력이 더 비쌉니다.

다른 이름: 입력 토큰, 출력 토큰, 프롬프트 토큰, 완성 토큰, 토큰 요금, prompt tokens, completion tokens, input tokens, output tokens

모든 LLM 요청에는 두 방향이 있습니다. 보내는 것과 돌아오는 것입니다. API는 둘 다 토큰으로 세며, 대부분 서로 다른 단가로 과금합니다.

작동 방식

입력은 요청에 담긴 모든 것입니다. 시스템 프롬프트, 이전의 모든 메시지, 도구 정의, 도구 결과, 문서, 이미지가 해당합니다. 멀티턴 채팅은 매 턴마다 전체 기록을 다시 보내므로, 대화가 길어질수록 입력도 늘어납니다.

출력은 모델이 생성하는 모든 것입니다. 눈에 보이는 답변, 도구 호출, 그리고 추론 모델의 경우 숨겨진 추론 토큰이 해당합니다.

usage 블록은 두 가지를 모두 보고합니다.

"usage": {
  "prompt_tokens": 18000,
  "completion_tokens": 900,
  "prompt_tokens_details": { "cached_tokens": 15000 },
  "completion_tokens_details": { "reasoning_tokens": 600 }
}

요청 하나의 비용은 다음과 같습니다.

(new input × input price) + (cached input × cached price) + (output × output price), 즉 (새 입력 × 입력 단가) + (캐시된 입력 × 캐시 단가) + (출력 × 출력 단가)이며, 각 단가는 100만 토큰 기준입니다.

왜 중요한가

둘의 비율에 따라 어느 단가가 중요한지가 정해집니다. 채팅 어시스턴트는 짧은 질문에 수백 토큰 정도를 생성할 수 있습니다. 코딩 에이전트는 매 턴마다 큰 저장소 컨텍스트를 다시 보내고 짧은 패치를 작성하므로, 입력이 출력의 20배 이상이 되기도 합니다. 에이전트에서는 입력 단가와 캐시된 입력 단가가 요금의 대부분을 좌우합니다.

그래도 출력은 계속 지켜볼 필요가 있습니다. 추론 모델은 답변보다 생각하는 데 더 많은 토큰을 쓸 수 있으며, 이 토큰은 출력으로 과금됩니다. 저희가 추적하는 모델들의 일반적인 출력 대 입력 단가 비율은 LLM API 가격 지수에 있습니다.

BroadNet Inference에서는

공개된 가격 파일 기준, 100만 토큰당 가격입니다.

모델 입력 캐시된 입력 출력
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17
BroadNet Gemma 4 VL 26B $0.10 — $0.22

BroadNet의 계산 예시에서는 상시 가동하는 코딩 에이전트가 한 달에 입력 토큰 10억 개(1,000 million)를 보내고, 캐시 적중률이 80%이며, 출력 토큰 5,000만 개(50 million)를 받습니다. DeepSeek V4.1 Flash를 토큰당 과금으로 쓰면 비용은 다음과 같습니다: $65.40. 정액 플랜은 미터를 없앱니다. Full Moon 플랜은 세션당 월 $60 요금입니다. 직접 수치를 넣어 가격 계산기로 비교하거나 정액제와 토큰당 과금 비교를 읽어 보세요.

흔한 실수

  • 눈에 보이는 답변만 계산하고 추론 토큰을 잊는 것.
  • 대화 기록이 얼마나 빨리 늘어나는지 무시하는 것. 채팅의 30번째 턴은 30턴 분량의 입력을 담고 있을 수 있습니다.

자주 묻는 질문

프롬프트 토큰과 입력 토큰은 무엇이 다른가요?

다르지 않습니다. Chat Completions 형식에서는 prompt_tokens와 completion_tokens라고 부릅니다. OpenAI의 Responses API나 Anthropic의 Messages API 같은 최신 API에서는 input_tokens와 output_tokens라고 부릅니다.

출력이 입력보다 비싼 이유는 무엇인가요?

모델은 프롬프트 전체를 한 번의 병렬 처리로 읽지만, 출력은 토큰을 하나씩 생성합니다. 그래서 출력 토큰 하나에 GPU 시간이 더 많이 듭니다.

도구 정의도 과금되나요?

네. 도구 스키마와 도구 결과는 프롬프트의 일부이므로, 이를 포함하는 모든 요청에서 입력 토큰으로 계산됩니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기