짧은 질문을 보냈더니 두 줄짜리 답이 왔는데, 청구서에는 출력 토큰 1,400개가 찍혀 있습니다. 잘못된 것은 없습니다. 모델이 답하기 전에 생각했고, 그 생각이 과금된 것입니다. 이 글은 추론 토큰이 어떻게 집계되는지, 모델별로 비용이 얼마인지, 그리고 이를 조절하는 네 가지 설정을 설명합니다.
추론 토큰이란 무엇인가요?
추론 모델은 내부적으로 생각의 흐름을 작성한 뒤 보이는 답변을 씁니다. 둘 다 같은 생성 과정에서 나옵니다. 그 생각을 이루는 것이 추론 토큰입니다. 표준 chat completions 응답에서 답변은 message.content에 담기고, 생각은 집계만 될 뿐 표시되지 않습니다.
OpenAI 추론 가이드는 이 규칙을 분명하게 밝힙니다. 추론 토큰은 “still occupy space in the model’s context window and are billed as”(번역: 여전히 모델의 컨텍스트 윈도우에서 공간을 차지하며 다음으로 과금됩니다) 출력 토큰이라는 것입니다. 다른 제공업체도 같은 규칙을 따릅니다.
추론 토큰은 어떻게 과금되나요?
추론 토큰은 completion_tokens의 일부이므로 출력 단가를 냅니다. 출력은 비싼 계량 항목입니다.
| 모델 | 먼저 추론함 | 100만 토큰당 출력 | 100만 토큰당 입력 |
|---|---|---|---|
| DeepSeek V4.1 Flash | 예 | $0.52 | $0.175 |
| GLM 5.3 | 예 | $3.46 | $0.78 |
| Qwen3.8 27B | 예 | $2.17 | $0.175 |
| Gemma 4 VL 26B | 표시 없음 | $0.22 | $0.10 |
가격은 BroadNet Inference 기준이며, 2026-11-14 기준으로 동기화했습니다. 같은 모델에 다른 호스트가 받는 가격은 LLM API 가격표에 있습니다. 예를 들어 제공업체별 GLM 5.3 가격을 참고하세요.
추론은 청구액을 얼마나 늘릴 수 있나요?
한 단어 라벨, 즉 보이는 토큰 약 10개를 반환하는 분류기를 생각해 봅시다. 모델이 먼저 1,000토큰 동안 생각한다면 출력 청구액의 99%가 생각입니다.
규모를 키우면 이렇습니다. 추론 토큰이 1,000개씩 붙은 답변 1,000개는 출력 100만 토큰을 더합니다. 보이는 답변과 별도로 DeepSeek V4.1 Flash에서는 $0.52, Qwen3.8 27B에서는 $2.17, GLM 5.3에서는 $3.46 비용이 듭니다.
양은 작업에 따라 다릅니다. 어려운 수학이나 여러 파일에 걸친 코드 추론은 수천 토큰에 이를 수 있습니다. 인사말에는 거의 필요 없을 수도 있습니다. 그래서 측정해야 합니다.
추론 토큰은 어떻게 측정하나요?
모델이 개수를 제공하면 usage 블록에 표시됩니다.
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=[{"role": "user", "content": "Is 'refund my order' a billing or shipping intent?"}],
max_tokens=1000,
)
u = r.usage
reasoning = (u.completion_tokens_details.reasoning_tokens or 0) if u.completion_tokens_details else 0
print("output:", u.completion_tokens, "reasoning:", reasoning,
"share:", round(reasoning / max(u.completion_tokens, 1), 2))
1주일 동안 작업 유형별로 이 값을 기록하세요. 대개 몇몇 작업이 생각의 대부분을 차지한다는 것을 알게 됩니다. 스트리밍할 때는 stream_options: {"include_usage": true}를 추가하세요. 개수는 마지막 청크에 담겨 옵니다(스트리밍 가이드).
추론 비용을 조절하는 네 가지 방법
1. 단순한 작업에는 reasoning_effort를 낮추세요
reasoning_effort는 모델에 생각을 덜 하라고 요청합니다. BroadNet 가이드는 분류, 추출, 서식 지정에 low를 사용합니다.
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", reasoning_effort="low",
max_tokens=1000, messages=msgs)
OpenAI는 자사 모델에 대해 none과 minimal부터 low, medium, high를 거쳐 xhigh와 max까지 더 넓은 범위의 값을 문서화하고 있으며, “some models support only a subset”(번역: 일부 모델은 그중 일부만 지원합니다)이라고 덧붙입니다. 사용하는 모델이 어떤 값을 받는지 확인하고, 같은 샘플로 변경 전후의 출력 토큰을 비교하세요.
2. max_tokens는 조이는 값이 아니라 상한으로 설정하세요
max_tokens는 추론과 답변을 합쳐서 제한합니다. 폭주하는 답변은 막아 주지만, 너무 낮게 잡으면 모델이 예산 전체를 생각하는 데 쓰고 finish_reason: "length"와 함께 빈 답변을 반환할 수 있습니다. 그 생각에 대한 비용은 내고, 재시도도 해야 합니다. BroadNet은 추론 모델에 1,000토큰 이상을 권장합니다. 추론 모델이 빈 답변을 반환하는 이유.
3. 쉬운 단계는 추론하지 않는 모델로 보내세요
모든 단계에 생각이 필요한 것은 아닙니다. JSON 서식 지정, 필드 이름 바꾸기, FAQ 조회 답변은 BroadNet이 추론을 표시하지 않는 Gemma 4 VL 26B(100만 출력 토큰당 $0.22)로 보낼 수 있습니다. 추론 모델은 계획, 디버깅, 여러 단계에 걸친 답변에 쓰세요. 라우팅하기 전에 자신의 샘플로 품질을 테스트하세요.
4. 프롬프트에서 “단계별로 생각하라”를 빼세요
추론 모델은 이미 생각합니다. 거기에 보이는 단계별 추론까지 요청하면 같은 내용을 두 번 쓰게 됩니다. 한 번은 숨겨서, 한 번은 답변에. 필요한 형식의 최종 답만 요청하세요.
어떤 작업에 어떤 설정을 써야 하나요?
| 작업 | 추론 강도 | max_tokens | 모델 제안 |
|---|---|---|---|
| 분류, 라우팅 | low | 1,000 | Gemma 4 VL 26B 또는 DeepSeek V4.1 Flash |
| JSON 추출 | low | 1,000~2,000 | DeepSeek V4.1 Flash, 구조화된 출력에는 GLM 5.3 |
| 고객 답변 초안 작성 | low 또는 기본값 | 2,000 | DeepSeek V4.1 Flash |
| 디버깅, 계획, 코드 리뷰 | 기본값 또는 그 이상 | 8,000 또는 미설정 | DeepSeek V4.1 Flash 또는 GLM 5.3 |
이는 출발점입니다. 자신의 데이터로 출력 토큰과 품질을 측정한 뒤 조정하세요.
추론에 추가 비용이 들지 않는 경우는 언제인가요?
정액 플랜에서입니다. BroadNet의 Full Moon 플랜은 세션당 월 $60 요금으로 DeepSeek V4.1 Flash를 토큰 계량 없이 무제한으로 쓰므로, 추론 토큰에 토큰당 비용이 없습니다. 그래도 시간은 걸립니다. 일반적인 속도인 초당 약 100토큰 기준으로도 추론 토큰은 모두 답변이 시작되기 전에 생성되므로, 생각이 길수록 답변이 늦어집니다. 정액 플랜이 토큰당 과금보다 유리한 경우와 코딩 에이전트 비용을 줄이는 10가지 방법을 참고하세요.
BroadNet Inference는 어디에 적합한가요?
BroadNet은 추론 모델 3개와 추론이 표시되지 않은 모델 1개를 https://inference.broadnet.ai/v1 주소의 OpenAI 호환 키 하나로 제공하며, 응답마다 사용량을 보고합니다. 그래서 작업별로 라우팅하고 차이를 측정하기 쉽습니다. 추론 요약을 볼 수 있는 비공개 모델이 필요하다면 해당 공급사의 API를 쓰세요. BroadNet의 채팅 카탈로그에는 비공개 모델이 없습니다. 플랜 보기.
