BroadRouter

推理模型为什么返回空回答

更新于

模型在开始写可见回答之前,就把 max_tokens 预算全部用在了思考上。在 BroadNet Inference 上,DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 都会先思考,而思考内容计入 max_tokens。请留出 1,000 token 或更多,或者把 reasoning_effort 设为 low。

你发送了一个很短的提示词,设置 max_tokens: 100,请求成功了,但 choices[0].message.content 是空的。并没有出故障:回答根本还没开始。

发生了什么

推理模型在写出可见回答之前,会先写一段隐藏的思维链。两者共用同一个 max_tokens 预算。上限设得太小,思考就会把预算全部用光;在标准的 chat completions 格式中,这时 finish_reason 为 length。

三种解决办法

1. 留出空间。 按照 BroadNet 文档的建议,把 max_tokens 设为 1,000 或更多。推理模型 max_tokens 计算器会根据你需要的回答长度算出上限,并显示费用。

2. 少思考一些。 简单任务把 reasoning_effort 设为 low:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. 查看 usage。 如果模型有报告,usage.completion_tokens_details.reasoning_tokens 会显示有多少 token 用在了思考上:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

流式输出时,加上 stream_options={"include_usage": True},同样的 usage 会出现在最后一个 chunk 中。参见流式对话补全。

哪些模型会思考

模型 先思考再回答
DeepSeek V4.1 Flash(broadnet/deepseek-v4.1-flash) 是
GLM 5.3(broadnet/glm-5.3) 是
Qwen3.8 27B(broadnet/qwen3.8-27b) 是
BroadNet Gemma 4 VL 26B(broadnet/gemma-4-26b-a4b) 未列出

故障排查

  • content 为空,finish_reason 为 length。 调高 max_tokens,或把 reasoning_effort 设为 low。
  • content 为空,finish_reason 为 stop。 问题不在上限。检查你的提示词,并打印完整响应看看返回了什么。
  • 访问 completion_tokens_details 时出现 AttributeError。 模型没有为这次请求报告明细;像上面的示例那样先判断是否为 None。
  • 流式输出的第一个 token 来得很慢。 模型在写回答之前正在思考。降低 reasoning_effort 可以缩短等待时间。

如果你整天运行智能体,按量付费时思考 token 会不断累积。BroadNet 价格计算器会显示什么时候固定价格的不限量套餐更划算。

常见问题

思考要花钱吗?

按量付费时,思考 token 包含在 completion token 中,按输出价格计费。在 DeepSeek V4.1 Flash 的不限量套餐上没有 token 计量,所以不会产生额外费用。

BroadNet Gemma 4 VL 26B 会思考吗?

BroadNet 的文档为 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 列出了思考能力,没有为 Gemma 4 VL 26B 列出。

finish_reason 是 length 时,为什么 message 的 content 是空的?

可见回答还没开始,token 预算就用完了。推理模型会先写思考内容,而这些 token 计入 max_tokens。把 max_tokens 调到 1,000 或更多,或者降低 reasoning_effort。

reasoning_effort 设为 low 有什么作用?

它让模型在回答前少思考一些。当较小的上限导致回答为空时,BroadNet 的文档建议用它来代替调大 max_tokens。适合分类、信息提取这类简单任务。

怎么查看有多少 token 用在了思考上?

如果模型有报告,读取响应中的 usage.completion_tokens_details.reasoning_tokens。流式输出时,发送 stream_options 并把 include_usage 设为 true,然后从最后一个 chunk 中读取。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity