추론 모델은 답하기 전에 생각합니다. 그 생각도 텍스트이므로 토큰과 시간, 그리고 컨텍스트 윈도우의 공간을 차지합니다.
작동 방식
추론 모델은 먼저 내부적인 사고 과정(chain of thought)을 생성한 다음, 눈에 보이는 답변을 씁니다. 두 부분 모두 같은 출력 예산에서 나갑니다. OpenAI 가이드는 추론 토큰이 “are billed as output tokens”(번역: 출력 토큰으로 과금된다)고 하며, 컨텍스트 윈도우의 공간도 차지한다고 설명합니다. Anthropic도 thinking 토큰에 대해 같은 설명을 하며, 이를 “a subset of your max_tokens.”(번역: max_tokens의 일부)라고 부릅니다.
Chat Completions 형식에서는 이 수치가 usage에 나타납니다.
"usage": {
"completion_tokens": 1186,
"completion_tokens_details": { "reasoning_tokens": 1024 }
}
이 예에서는 출력 토큰 1,186개 중 1,024개가 생각에 쓰였고, 답변에는 162개만 쓰였습니다. OpenAI는 응답이 “before any visible output tokens are produced,“(번역: 눈에 보이는 출력 토큰이 생성되기도 전에) 한도에 도달할 수 있다고 경고합니다. 이 경우 입력과 추론 비용은 내지만 답변은 받지 못합니다. OpenAI는 자사 모델로 처음 실험할 때 추론과 출력용으로 최소 25,000토큰을 확보해 두라고 권합니다.
많은 API가 reasoning_effort(low, medium, high) 같은 설정을 제공하므로, 품질을 조금 양보하고 사고 토큰을 줄일 수 있습니다.
왜 중요한가
- 비용. 토큰당 과금 키에서는 추론이 출력 단가로 과금되며, 출력 단가는 보통 가장 높은 요금입니다. 입력 토큰과 출력 토큰을 참고하세요.
- 지연 시간. 생각하는 시간만큼 첫 번째 가시 토큰이 늦게 나옵니다. 초당 토큰 수가 일정하다면, 추론 토큰 2,000개는 출력 토큰 2,000개를 생성하는 시간만큼 지연을 더합니다.
- 안정성. 비추론 모델에서 잘 작동하던 작은
max_tokens값이 추론 모델에서는 빈 응답을 반환할 수 있습니다.
BroadNet Inference에서는
DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론합니다. BroadNet 문서에 따르면 추론은 max_tokens에 포함됩니다. BroadNet 문서에는 BroadNet Gemma 4 VL 26B의 추론 기능이 나와 있지 않습니다.
모델이 보고하는 경우 usage.completion_tokens_details.reasoning_tokens에서 생각에 쓰인 분량을 확인할 수 있습니다. max_tokens는 1,000 이상으로 설정하거나 지정하지 말고, 간단한 단계에는 reasoning_effort="low"를 쓰세요.
client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)
종량제에서는 추론이 출력 단가로 과금됩니다. 예를 들어 DeepSeek V4.1 Flash의 출력 단가는 100만 토큰당 $0.52 요금입니다. 같은 모델의 무제한 플랜에는 토큰 미터가 없으므로 추론에 추가 비용이 들지 않고 시간만 걸립니다. 전체 해결 방법은 추론 모델이 빈 응답을 반환하는 이유에 정리되어 있습니다.