思维链起初是一个提示技巧,后来变成了模型的一项功能。
工作原理
Wei 和同事在 2022 年发表了这个方法。普通的少样本示例只展示问题和答案,他们写的示例则展示了中间的步骤。用八个这样的示例,一个 5400 亿参数的模型在 GSM8K(一套小学数学应用题)上达到了当时最高的准确率,超过了带验证器的微调版 GPT-3。他们测试了算术、常识和符号推理。
提示词中的一个思维链示例:
Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.
写出步骤让模型在给出答案之前有更多 token 用于计算,而且每一步都会影响下一步。它是少样本提示的一种形式,示例教的是方法,而不只是格式。
思考模型如何把它内化
思考模型经过训练,会自己产生这种逐步推理的文本。OpenAI 的指南说,这些模型 “use internal reasoning tokens before producing a response”(译文:在生成回复之前使用内部的思考 token),这些 token 无法通过它的 API 看到,但仍然占用上下文并按输出计费。有些开源模型则把思考内容放在一个单独的字段里返回。它们如何计数,见思考 token。
为什么重要
- 准确率。 数学、规划和修复代码这类多步任务受益最大。简单的查询几乎没有提升。
- 成本与延迟。 每一步都是输出 token。一条长的思维链可能比答案本身还贵。
- 不等于证明。 写出来的步骤看起来合理,结论仍可能是错的,所以它不能防止幻觉。
在 BroadNet Inference 上
BroadNet 的文档说,DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,思考内容计入 max_tokens。请留出 1,000 个或更多 token,或者把 reasoning_effort 设为 low;上限太小时,答案可能为空。如果返回了 usage.completion_tokens_details.reasoning_tokens,它会显示用了多少思考 token。文档没有把 BroadNet Gemma 4 VL 26B 列为思考模型,所以要让它给出步骤,用经典的思维链提示即可。空回复指南和思考 token 成本一文介绍了如何做预算。