BroadRouter

推論トークン(reasoning tokens)

更新日

推論トークンとは、推論モデルが目に見える回答を書く前に、問題を考え抜くために生成するトークンです。通常は出力トークンとして課金され、出力の上限とコンテキストウィンドウに算入されます。API によっては非表示になったり、要約されたりします。

別名: 思考トークン、推論(reasoning)トークン、reasoning_effort、reasoning tokens、thinking tokens、chain-of-thought tokens、reasoning effort、extended thinking

推論モデルは、回答する前に考えます。その思考もテキストなので、トークン、時間、コンテキストウィンドウの容量を消費します。

仕組み

推論モデルは、まず内部で思考の連鎖(chain of thought)を生成し、そのあとで目に見える回答を書きます。どちらも同じ出力の上限から使われます。OpenAI のガイドは推論トークンについて “are billed as output tokens”(訳:出力トークンとして課金される)と述べ、コンテキストウィンドウの容量も占めるとしています。Anthropic も思考トークンについて同じことを述べ、“a subset of your max_tokens”(訳:max_tokens の一部)と呼んでいます。

Chat Completions 形式では、その数が usage に表示されます。

"usage": {
  "completion_tokens": 1186,
  "completion_tokens_details": { "reasoning_tokens": 1024 }
}

この例では、出力トークン 1,186 のうち 1,024 が思考に使われ、回答に使われたのは 162 だけです。OpenAI は、レスポンスが “before any visible output tokens are produced”(訳:目に見える出力トークンが生成される前に)上限に達することがあると注意しています。その場合、入力と推論の料金を払っても回答は得られません。同社は、自社モデルで試し始める段階では、推論と出力のために少なくとも 25,000 トークンを確保することを勧めています。

多くの API には reasoning_effort(low、medium、high)のような設定があり、品質と引き換えに思考トークンを減らせます。

なぜ重要か

  • コスト。 トークン課金のキーでは、推論は出力単価で課金されます。通常、最も高い単価です。入力トークンと出力トークンを参照してください。
  • レイテンシ。 最初の目に見えるトークンが出るまで、思考に時間がかかります。毎秒トークン数が一定なら、2,000 の推論トークンは出力トークン 2,000 個分の時間を上乗せします。
  • 信頼性。 推論しないモデルで問題なかった小さな max_tokens が、推論モデルでは空の回答を返すことがあります。

BroadNet Inference の場合

DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論します。BroadNet のドキュメントによると、推論は max_tokens に算入されます。BroadNet Gemma 4 VL 26B については、BroadNet のドキュメントに推論の記載はありません。

モデルが報告する場合、usage.completion_tokens_details.reasoning_tokens に思考の分が表示されます。max_tokens は 1,000 以上にするか未指定のままにし、単純な処理には reasoning_effort="low" を使ってください。

client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)

従量課金では、推論は出力単価で課金されます。たとえば DeepSeek V4.1 Flash では 100 万トークンあたり $0.52 です。このモデルの無制限プランにはトークンのメーターがないため、推論に追加料金はかからず、時間がかかるだけです。対処法の一覧は推論モデルが空の回答を返す理由にまとめています。

よくある質問

推論トークンの中身は見られますか?

API によって異なります。OpenAI によると、推論トークンは同社の API からは見えませんが、要約を受け取ることはできます。ほかのプロバイダーは、推論の一部または全部を別のフィールドで返します。どちらの場合も、推論トークンは課金されます。

推論トークンを減らすにはどうすればいいですか?

モデルが対応していれば、単純なタスクでは reasoning_effort を low にするなど、推論の強度を下げてください。明確で具体的なプロンプトも効果があります。

推論モデルから空の回答が返ってくるのはなぜですか?

出力の上限をすべて推論に使い切った可能性が高いです。その場合、finish_reason は length になります。max_tokens を上げるか、推論の強度を下げてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く