推論モデルは、回答する前に考えます。その思考もテキストなので、トークン、時間、コンテキストウィンドウの容量を消費します。
仕組み
推論モデルは、まず内部で思考の連鎖(chain of thought)を生成し、そのあとで目に見える回答を書きます。どちらも同じ出力の上限から使われます。OpenAI のガイドは推論トークンについて “are billed as output tokens”(訳:出力トークンとして課金される)と述べ、コンテキストウィンドウの容量も占めるとしています。Anthropic も思考トークンについて同じことを述べ、“a subset of your max_tokens”(訳:max_tokens の一部)と呼んでいます。
Chat Completions 形式では、その数が usage に表示されます。
"usage": {
"completion_tokens": 1186,
"completion_tokens_details": { "reasoning_tokens": 1024 }
}
この例では、出力トークン 1,186 のうち 1,024 が思考に使われ、回答に使われたのは 162 だけです。OpenAI は、レスポンスが “before any visible output tokens are produced”(訳:目に見える出力トークンが生成される前に)上限に達することがあると注意しています。その場合、入力と推論の料金を払っても回答は得られません。同社は、自社モデルで試し始める段階では、推論と出力のために少なくとも 25,000 トークンを確保することを勧めています。
多くの API には reasoning_effort(low、medium、high)のような設定があり、品質と引き換えに思考トークンを減らせます。
なぜ重要か
- コスト。 トークン課金のキーでは、推論は出力単価で課金されます。通常、最も高い単価です。入力トークンと出力トークンを参照してください。
- レイテンシ。 最初の目に見えるトークンが出るまで、思考に時間がかかります。毎秒トークン数が一定なら、2,000 の推論トークンは出力トークン 2,000 個分の時間を上乗せします。
- 信頼性。 推論しないモデルで問題なかった小さな
max_tokensが、推論モデルでは空の回答を返すことがあります。
BroadNet Inference の場合
DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論します。BroadNet のドキュメントによると、推論は max_tokens に算入されます。BroadNet Gemma 4 VL 26B については、BroadNet のドキュメントに推論の記載はありません。
モデルが報告する場合、usage.completion_tokens_details.reasoning_tokens に思考の分が表示されます。max_tokens は 1,000 以上にするか未指定のままにし、単純な処理には reasoning_effort="low" を使ってください。
client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)
従量課金では、推論は出力単価で課金されます。たとえば DeepSeek V4.1 Flash では 100 万トークンあたり $0.52 です。このモデルの無制限プランにはトークンのメーターがないため、推論に追加料金はかからず、時間がかかるだけです。対処法の一覧は推論モデルが空の回答を返す理由にまとめています。