BroadRouter

Chain-of-Thought(CoT、思考の連鎖)

更新日

Chain-of-Thought(CoT)とは、言語モデルに最終的な答えの前に途中の推論ステップを書かせる、あるいはその例を示すプロンプトの手法です。算数や論理のような多段階の問題で精度が上がり、今では推論モデルが自動的に生成します。

別名: 思考の連鎖、CoT プロンプト、段階的推論、ステップバイステップ、Let's think step by step、CoT、chain-of-thought prompting、step-by-step prompting、CoT prompting、chain-of-thought

Chain-of-Thought は、プロンプトの小技として始まり、モデルの機能になりました。

しくみ

Wei らは 2022 年にこの手法を発表しました。質問と答えだけを示す通常の few-shot の例ではなく、途中の手順も示す例を書いたのです。そうした例を 8 つ与えると、5,400 億パラメーターのモデルが、小学校レベルの算数の文章題集である GSM8K で当時の最高精度に達し、検証器付きでファインチューニングした GPT-3 を上回りました。検証したのは、算術、常識、記号の推論です。

プロンプトに入れる Chain-of-Thought の例です。

Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.

手順を書かせると、モデルは答えを確定する前に計算に使えるトークンが増え、各ステップが次のステップの条件になります。これは few-shot プロンプトの一種で、例が教えるのは形式だけでなく解き方です。

推論モデルはどう内部化したか

推論モデルは、この段階的なテキストを自分で生成するように学習されています。OpenAI のガイドによると、推論モデルは “use internal reasoning tokens before producing a response”(訳:応答を生成する前に内部の推論トークンを使う)もので、そのトークンは同社の API からは見えませんが、コンテキストを使い、出力として課金されます。オープンモデルの中には、推論を別のフィールドで返すものもあります。数え方は推論トークンを参照してください。

なぜ重要か

  • 精度。 最も効果があるのは、数学、計画、コード修正のような多段階のタスクです。単純な調べものではほとんど変わりません。
  • コストとレイテンシ。 手順の一つひとつが出力トークンです。長い連鎖は、答えそのものより高くつくことがあります。
  • 証明にはならない。 書かれた手順がもっともらしく見えても間違っていることはあるので、ハルシネーションは防げません。

BroadNet Inference の場合

BroadNet のドキュメントによると、DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は答える前に推論し、その推論は max_tokens に含まれます。1,000 トークン以上の余裕を残すか、reasoning_effort を low にしてください。上限が小さいと、答えが空で返ってくることがあります。usage.completion_tokens_details.reasoning_tokens が返された場合は、使われた推論トークンの数がわかります。ドキュメントは BroadNet Gemma 4 VL 26B を推論モデルとして挙げていないので、このモデルに手順を出させるには従来の Chain-of-Thought プロンプトを使います。予算の立て方は空の応答のガイドと推論トークンのコストの記事で解説しています。

よくある質問

Chain-of-Thought と推論トークンは同じものですか?

関係はありますが、同じではありません。Chain-of-Thought は手順を書き出す手法です。推論トークンは、推論モデルがそれを内部で行うときに生成するもので、出力として課金されます。

推論モデルにも「ステップバイステップで考えて」と書くべきですか?

たいていは不要です。推論モデルは、答える前にすでに推論しています。OpenAI のガイドは、すべての手順を指示するより、明確な目標と制約を与えることを勧めています。

Chain-of-Thought を使うとコストは上がりますか?

上がります。手順は出力トークンで、出力トークンはたいてい最も高いトークンです。レイテンシも増えます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く