BroadRouter

추론 모델이 빈 답변을 반환하는 이유

업데이트

모델이 보이는 답변을 시작하기도 전에 max_tokens 예산 전체를 추론에 썼기 때문입니다. BroadNet Inference에서 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 먼저 추론하며, 추론도 max_tokens에 포함됩니다. 1,000토큰 이상을 허용하거나 reasoning_effort를 low로 설정하세요.

max_tokens: 100으로 짧은 프롬프트를 보냈더니 요청은 성공했는데 choices[0].message.content가 비어 있습니다. 고장 난 것은 없습니다. 답변이 시작되지 않았을 뿐입니다.

무슨 일이 일어나나

추론 모델은 보이는 답변 앞에 숨겨진 사고 과정(chain of thought)을 씁니다. 둘은 하나의 max_tokens 예산을 함께 씁니다. 한도가 작으면 추론이 예산을 모두 써 버리고, 표준 chat completions 형식에서는 이때 finish_reason이 length가 됩니다.

세 가지 해결 방법

1. 여유를 둡니다. BroadNet 문서의 권장대로 max_tokens를 1,000 이상으로 설정하세요. 추론 모델용 max_tokens 계산기로 원하는 답변 길이에 맞는 한도와 비용을 확인할 수 있습니다.

2. 추론을 줄입니다. 간단한 작업에는 reasoning_effort를 low로 설정하세요.

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. usage를 확인합니다. 모델이 보고하는 경우 usage.completion_tokens_details.reasoning_tokens에서 추론에 쓰인 양을 볼 수 있습니다.

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

스트리밍에서는 stream_options={"include_usage": True}를 추가하면 같은 usage가 마지막 청크에 담겨 옵니다. 스트리밍 chat completions를 참고하세요.

어떤 모델이 추론하나

모델 먼저 추론
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) 예
GLM 5.3 (broadnet/glm-5.3) 예
Qwen3.8 27B (broadnet/qwen3.8-27b) 예
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) 표기 없음

문제 해결

  • content가 비어 있고 finish_reason이 length. max_tokens를 늘리거나 reasoning_effort를 low로 설정하세요.
  • content가 비어 있고 finish_reason이 stop. 한도가 원인이 아닙니다. 프롬프트를 점검하고, 응답 전체를 출력해 무엇이 돌아왔는지 확인하세요.
  • completion_tokens_details에서 AttributeError. 모델이 해당 요청의 세부 내역을 보고하지 않은 경우입니다. 위 예제처럼 None에 대비하세요.
  • 스트리밍에서 첫 토큰이 느림. 모델이 답변을 쓰기 전에 추론하고 있는 것입니다. reasoning_effort를 낮추면 대기 시간이 줄어들 수 있습니다.

에이전트를 하루 종일 돌린다면 종량제에서는 추론 토큰이 쌓입니다. BroadNet 가격 계산기에서 정액 무제한 플랜이 더 저렴해지는 시점을 확인할 수 있습니다.

자주 묻는 질문

추론에도 비용이 드나요?

종량제에서는 추론이 completion 토큰 안에 포함되어 보고되고, 출력 가격으로 청구됩니다. DeepSeek V4.1 Flash 무제한 플랜에는 토큰 계량이 없으므로 추가 비용이 없습니다.

BroadNet Gemma 4 VL 26B도 추론하나요?

BroadNet 문서는 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B에 추론을 표기하며, Gemma 4 VL 26B에는 표기하지 않습니다.

finish_reason이 length인데 message content가 비어 있는 이유는 무엇인가요?

보이는 답변이 시작되기 전에 토큰 예산이 바닥났기 때문입니다. 추론 모델은 추론을 먼저 쓰고, 그 토큰도 max_tokens에 포함됩니다. max_tokens를 1,000 이상으로 늘리거나 reasoning_effort를 낮추세요.

reasoning_effort를 low로 하면 어떻게 되나요?

모델에게 답하기 전에 추론을 덜 하라고 요청합니다. BroadNet 문서는 짧은 한도 때문에 답변이 비어 있을 때 max_tokens를 키우는 대신 쓸 수 있는 방법으로 이를 제안합니다. 분류나 추출 같은 간단한 작업에 쓰세요.

추론에 토큰이 얼마나 쓰였는지 어떻게 확인하나요?

모델이 보고하는 경우, 응답의 usage.completion_tokens_details.reasoning_tokens를 읽으세요. 스트리밍에서는 stream_options에 include_usage를 true로 보내고 마지막 청크에서 읽으면 됩니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기