推理模型会先思考再回答。思考本身也是文本,所以同样消耗 token、时间和上下文窗口的空间。
原理
推理模型先生成内部的思维链,再生成可见回答,两者共用同一份输出预算。OpenAI 的指南说,思考 token “are billed as output tokens”(译文:按输出 token 计费),并占用上下文窗口;Anthropic 对 thinking token 也是同样的说法,称它们是 “a subset of your max_tokens”(译文:max_tokens 的一部分)。
在 Chat Completions 格式中,这个数量出现在 usage 里:
"usage": {
"completion_tokens": 1186,
"completion_tokens_details": { "reasoning_tokens": 1024 }
}
这里 1,186 个输出 token 中有 1,024 个用于思考,只有 162 个用于回答。OpenAI 提醒,响应可能在 “before any visible output tokens are produced”(译文:产生任何可见输出 token 之前)就达到上限,这时你要为输入和思考付费,却拿不到回答。它建议在刚开始试用其模型时,为思考和输出预留至少 25,000 个 token。
很多 API 提供 reasoning_effort(low、medium、high)这类参数,用一部分质量换取更少的思考 token。
为什么重要
- 成本。 在按 token 计费的密钥上,思考按输出价格计费,而输出通常是最贵的一档。参见输入 token 与输出 token。
- 延迟。 在第一个可见 token 出现之前,思考需要时间。在固定的每秒 token 数下,2,000 个思考 token 会增加相当于 2,000 个输出 token 的时间。
- 可靠性。 在非推理模型上够用的较小
max_tokens,换到推理模型上可能返回空回答。
在 BroadNet Inference 上
DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答。BroadNet 的文档说明,思考内容计入 max_tokens。BroadNet 的文档没有为 BroadNet Gemma 4 VL 26B 列出思考功能。
模型报告时,usage.completion_tokens_details.reasoning_tokens 会显示思考所占的部分。把 max_tokens 设为 1,000 或以上,或者不设置;简单步骤使用 reasoning_effort="low":
client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)
按量付费时,思考按输出价格计费,例如 DeepSeek V4.1 Flash 为每百万 token $0.52。在该模型的不限量套餐上没有 token 计量,所以思考不会产生额外费用,只会占用时间。完整的排查清单见推理模型为什么返回空回答。