BroadRouter

思考 token(reasoning tokens)

更新于

思考 token(reasoning tokens)是推理模型在写出可见回答之前、为解决问题而生成的 token。它们通常按输出 token 计费,计入输出上限和上下文窗口,API 可能将其隐藏或只返回摘要。

又称: 推理 token、思考 token、思维链 token、推理强度、reasoning tokens、thinking tokens、chain-of-thought tokens、reasoning effort、extended thinking

推理模型会先思考再回答。思考本身也是文本,所以同样消耗 token、时间和上下文窗口的空间。

原理

推理模型先生成内部的思维链,再生成可见回答,两者共用同一份输出预算。OpenAI 的指南说,思考 token “are billed as output tokens”(译文:按输出 token 计费),并占用上下文窗口;Anthropic 对 thinking token 也是同样的说法,称它们是 “a subset of your max_tokens”(译文:max_tokens 的一部分)。

在 Chat Completions 格式中,这个数量出现在 usage 里:

"usage": {
  "completion_tokens": 1186,
  "completion_tokens_details": { "reasoning_tokens": 1024 }
}

这里 1,186 个输出 token 中有 1,024 个用于思考,只有 162 个用于回答。OpenAI 提醒,响应可能在 “before any visible output tokens are produced”(译文:产生任何可见输出 token 之前)就达到上限,这时你要为输入和思考付费,却拿不到回答。它建议在刚开始试用其模型时,为思考和输出预留至少 25,000 个 token。

很多 API 提供 reasoning_effort(low、medium、high)这类参数,用一部分质量换取更少的思考 token。

为什么重要

  • 成本。 在按 token 计费的密钥上,思考按输出价格计费,而输出通常是最贵的一档。参见输入 token 与输出 token。
  • 延迟。 在第一个可见 token 出现之前,思考需要时间。在固定的每秒 token 数下,2,000 个思考 token 会增加相当于 2,000 个输出 token 的时间。
  • 可靠性。 在非推理模型上够用的较小 max_tokens,换到推理模型上可能返回空回答。

在 BroadNet Inference 上

DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答。BroadNet 的文档说明,思考内容计入 max_tokens。BroadNet 的文档没有为 BroadNet Gemma 4 VL 26B 列出思考功能。

模型报告时,usage.completion_tokens_details.reasoning_tokens 会显示思考所占的部分。把 max_tokens 设为 1,000 或以上,或者不设置;简单步骤使用 reasoning_effort="low":

client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)

按量付费时,思考按输出价格计费,例如 DeepSeek V4.1 Flash 为每百万 token $0.52。在该模型的不限量套餐上没有 token 计量,所以思考不会产生额外费用,只会占用时间。完整的排查清单见推理模型为什么返回空回答。

常见问题

我能看到思考 token 的内容吗?

取决于 API。OpenAI 表示,其 API 不会直接返回思考 token,但可以提供摘要。其他服务商会在单独的字段里返回部分或全部思考内容。无论能否看到,这些 token 都要计费。

怎样减少思考 token?

在模型支持的前提下,简单任务使用较低的思考强度,例如把 reasoning_effort 设为 low。清晰、具体的提示词也有帮助。

为什么推理模型返回了空回答?

模型很可能把全部输出预算都花在了思考上,此时 finish_reason 为 length。调高 max_tokens,或降低思考强度。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity