你发送了一个很短的提示词,设置 max_tokens: 100,请求成功了,但 choices[0].message.content 是空的。并没有出故障:回答根本还没开始。
发生了什么
推理模型在写出可见回答之前,会先写一段隐藏的思维链。两者共用同一个 max_tokens 预算。上限设得太小,思考就会把预算全部用光;在标准的 chat completions 格式中,这时 finish_reason 为 length。
三种解决办法
1. 留出空间。 按照 BroadNet 文档的建议,把 max_tokens 设为 1,000 或更多。推理模型 max_tokens 计算器会根据你需要的回答长度算出上限,并显示费用。
2. 少思考一些。 简单任务把 reasoning_effort 设为 low:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. 查看 usage。 如果模型有报告,usage.completion_tokens_details.reasoning_tokens 会显示有多少 token 用在了思考上:
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
流式输出时,加上 stream_options={"include_usage": True},同样的 usage 会出现在最后一个 chunk 中。参见流式对话补全。
哪些模型会思考
| 模型 | 先思考再回答 |
|---|---|
DeepSeek V4.1 Flash(broadnet/deepseek-v4.1-flash) |
是 |
GLM 5.3(broadnet/glm-5.3) |
是 |
Qwen3.8 27B(broadnet/qwen3.8-27b) |
是 |
BroadNet Gemma 4 VL 26B(broadnet/gemma-4-26b-a4b) |
未列出 |
故障排查
content为空,finish_reason为length。 调高max_tokens,或把reasoning_effort设为low。content为空,finish_reason为stop。 问题不在上限。检查你的提示词,并打印完整响应看看返回了什么。- 访问
completion_tokens_details时出现AttributeError。 模型没有为这次请求报告明细;像上面的示例那样先判断是否为None。 - 流式输出的第一个 token 来得很慢。 模型在写回答之前正在思考。降低
reasoning_effort可以缩短等待时间。
如果你整天运行智能体,按量付费时思考 token 会不断累积。BroadNet 价格计算器会显示什么时候固定价格的不限量套餐更划算。
