---
title: "推論モデルの max_tokens 設定：空の応答を防ぐ予算の決め方 | BroadRouter"
description: "max_tokens が小さいと推論モデルが空の応答を返す理由と、実測したパーセンタイル、コンテキストウィンドウ、段階的に増やすリトライから予算を決める方法を解説します。"
url: https://broadrouter.com/ja/blog/reasoning-model-max-tokens-budget/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/reasoning-model-max-tokens-budget/)（2026-11-15 更新）。

# 推論モデルの max\_tokens の決め方：予算を見積もる方法

BroadNet Inference チーム · 約 6 分で読めます · 公開日 2026-11-15

推論モデルでは max\_tokens が思考と回答の両方の上限なので、厳しい上限だと見える文字が出る前に応答が切れます。タスクの種類ごとに出力トークンの合計を測り、max\_tokens を 95 パーセンタイルの約 20% 増しにし、プロンプトとの合計をコンテキストウィンドウ内に収め、打ち切られた応答はハードキャップまで予算を倍にしてリトライします。

## 要点

-   max\_tokens は上限であって、請求額ではありません。課金されるのは生成されたトークンなので、早く終わる応答には上限を大きくしても費用はかかりません。
-   お金がかかるのは厳しすぎる上限です。打ち切られた応答は思考分が課金され、回答は返らず、もう一度送り直す必要があります。
-   タスクの種類ごとに、自分のログから予算を決めてください。出力トークンの 95 パーセンタイルに 20% の余裕を足すのが堅実な出発点です。
-   プロンプトのトークンと max\_tokens の合計はコンテキストウィンドウに収める必要があります。Qwen3.8 27B は 262,144 トークン、GLM 5.3 と DeepSeek V4.1 Flash は 1,048,576 です。
-   finish\_reason が "length" ならシグナルとして扱い、予算を倍にするか reasoning\_effort を下げてリトライします。ハードキャップも設けてください。

**このページの内容**

1.  なぜ回答の前に予算が尽きるのですか？
2.  max\_tokens を大きくすると費用は上がりますか？
3.  タスクに必要な量はどう測りますか？
4.  コンテキストウィンドウは予算をどう制限しますか？
5.  それでも応答が打ち切られたらどうしますか？
6.  ストリーミングでは何が変わりますか？
7.  どのパラメーター名を送るべきですか？
8.  BroadNet Inference の位置づけ

推論モデルは回答の前に考えます。そして OpenAI 互換 API の多くでは、その両方が 1 つの予算、`max_tokens` から出ていきます。非推論モデルと同じ感覚で、短い回答なら数百トークンと設定すると、一部の応答が `finish_reason: "length"` で空のまま返ってきます。応急処置は[推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)にあります。この記事では、信頼できる予算の裏付けとなる方法を扱います。測定し、パーセンタイルから決め、コンテキストウィンドウを守り、それでも打ち切られる応答に対処する、という流れです。

推論にかかるコストとその削減方法は、[推論トークン：見えている以上の出力に課金される理由](https://broadrouter.com/ja/blog/reasoning-tokens-cost/)を参照してください。

## なぜ回答の前に予算が尽きるのですか？

モデルは順番に生成します。まず推論、次に見える回答です。どちらのトークンもすべて `max_tokens` に数えられます。BroadNet のドキュメントは DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B について、“the reasoning counts toward max\_tokens”（訳：推論は max\_tokens に含まれる）と書き、上限が小さいと “the answer comes back empty”（訳：回答が空で返る）としています。OpenAI の Chat Completions リファレンスも `max_completion_tokens` を同様に、“including visible output tokens and reasoning tokens”（訳：見える出力トークンと推論トークンを含む）上限として定義しています。

ですから問うべきは「回答の長さはどれくらいか」ではありません。「このタスク、この強さで、推論と回答を合わせてどれくらいか」です。この値は想像以上にばらつきます。OpenAI のガイドによれば、同社のモデルは問題に応じて “anywhere from a few hundred to tens of thousands of reasoning tokens”（訳：数百から数万の推論トークン）を生成することがあります。

## max\_tokens を大きくすると費用は上がりますか？

上がりません。これが予算をきつく設定しすぎる最もよくある理由です。[`max_tokens`](https://broadrouter.com/ja/glossary/max-tokens/) は上限です。課金されるのは実際に生成されたトークンです。1,800 トークン必要な応答は、上限が 4,000 でも 40,000 でも同じ費用です。

厳しすぎる上限が実際にもたらすコスト：

| 上限と必要量 | 支払うもの | 得られるもの |
| --- | --- | --- |
| 上限が必要量より上 | 生成されたトークン | 回答 |
| 上限が必要量より下 | 上限いっぱい、すべて推論 | 使えるものはなく、さらにリトライ |

例で考えてみます。呼び出しの 4 分の 1 が 1,000 トークンを超える必要があるとします。`max_tokens=1000` では、それらの呼び出しはそれぞれ 1,000 出力トークン分の思考が課金され、何も返さず、リトライされます。全呼び出しで平均すると、1 回あたり 250 出力トークンが無駄になります。これはリトライそのものと 2 回目のリクエストの遅延を含めない数字です。上限を 4,000 にすれば無駄はありません。[Qwen3.8 27B](https://broadrouter.com/ja/models/qwen3.8-27b/) の出力は 100 万トークンあたり $2.17 なので、量が増えれば無駄も積み上がります。

上限を高くしたときの本当のリスクは、暴走した応答です。ループしたり考えすぎたりして、必要以上に大量に生成するモデルです。ハードキャップでそれを抑えられます。キャップは次のようにデータから決めてください。

## タスクに必要な量はどう測りますか？

1 種類のタスクについて、余裕のある上限で実際のプロンプトを実行し、出力トークンと推論の割合を記録します。モデルが報告する場合、`usage.completion_tokens_details.reasoning_tokens` が推論部分を示します。BroadNet のドキュメントにもこのフィールドが載っています。

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/qwen3.8-27b"

def measure(prompts, ceiling=16_000, **kw):
    """Run real prompts with a generous ceiling and return per-call token counts."""
    rows = []
    for p in prompts:
        r = client.chat.completions.create(model=MODEL, max_tokens=ceiling,
                                           messages=[{"role": "user", "content": p}], **kw)
        u, d = r.usage, r.usage.completion_tokens_details
        reasoning = (d.reasoning_tokens or 0) if d else 0
        rows.append({"reasoning": reasoning, "answer": u.completion_tokens - reasoning,
                     "finish": r.choices[0].finish_reason})
    return rows

def pct(values, q):
    values = sorted(values)
    return values[min(len(values) - 1, int(q * len(values)))]

def recommend(rows, margin=1.2):
    total = [r["reasoning"] + r["answer"] for r in rows]
    return {"p50": pct(total, 0.5), "p95": pct(total, 0.95), "max": max(total),
            "max_tokens": int(pct(total, 0.95) * margin),
            "cut_off": sum(r["finish"] == "length" for r in rows)}

# print(recommend(measure(my_prompts)))                       # default effort
# print(recommend(measure(my_prompts, reasoning_effort="low")))
```

信頼できる数字を得るためのルール：

1.  **1 回の実行で 1 種類のタスク。** 分類、抽出、コードレビュー、計画立案では分布が大きく異なります。全体で 1 つの `max_tokens` にすると、リトライでお金を無駄にするか、暴走した応答を通してしまいます。
2.  **実際のプロンプトを 50 件以上。** 10 サンプルの 95 パーセンタイルは、単に最大値です。
3.  **使う強さごとに実行する。** `reasoning_effort="low"` で分布は変わります。BroadNet のドキュメントにあるのは `low` です。他の値は頼る前にテストしてください。
4.  **`cut_off` がゼロでなければ、上限を上げて再実行する。** 打ち切られたサンプルは本当の長さを隠しています。
5.  **モデルやプロンプトが変わったら再実行する。** 新しいバージョンのモデルは、考える量が増えることも減ることもあります。

そのうえで、`recommend()` の結果からタスクごとに `max_tokens` を設定します。95 パーセンタイルに 20% を足すと、ほとんどの呼び出しは上限を十分下回り、まれな長い応答だけが下のリトライ経路に回ります。数字がそろったら、無料の[推論トークン予算ツール](https://broadrouter.com/tools/reasoning-token-budget/)がブラウザ上でこの計算をしてくれます。

## コンテキストウィンドウは予算をどう制限しますか？

コンテキストウィンドウにはプロンプトと回答の両方が入ります。BroadNet の価格フィードは `context_length` を “the most tokens one request can hold, prompt and answer together”（訳：1 リクエストが保持できる最大トークン数、プロンプトと回答の合計）と定義しています。したがって次のようになります。

**max\_tokens ≤ コンテキスト長 − プロンプトのトークン数**

| モデル | コンテキスト | プロンプトが 200,000 トークンのときの max\_tokens の余地 |
| --- | --- | --- |
| [GLM 5.3](https://broadrouter.com/ja/models/glm-5.3/) | 1,048,576 | 848,576 |
| [DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) | 1,048,576 | 848,576 |
| Qwen3.8 27B | 262,144 | 62,144 |

これはロングコンテキストの作業で効いてきます。Qwen3.8 27B で履歴が 250,000 トークンまで膨らんだエージェントには、思考と回答に使える余地が約 12,000 トークンしか残りません。ロングコンテキストのタスクは推論も多く必要になりがちなので、起動時に 1 回ではなく、呼び出しのたびに残りの余地を確認してください。収まるかどうかは[コンテキストウィンドウ](https://broadrouter.com/ja/glossary/context-window/)と[コンテキストウィンドウ計算ツール](https://broadrouter.com/tools/context-window-calculator/)で確認できます。

## それでも応答が打ち切られたらどうしますか？

すべての呼び出しで `finish_reason` を確認してください。`length` なら、`content` に多少テキストがあっても、回答は欠けているか不完全です。完全なものとしてパースしないでください。途中で切れた JSON オブジェクトは、下流のエラーのよくある原因です（[構造化出力](https://broadrouter.com/ja/blog/structured-output-json-schema/)）。

コンテキストが許す範囲内で、ハードキャップまで予算を倍にしてリトライします。

```python
import json, urllib.request

FEED = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
CONTEXT = {m["id"]: m.get("context_length") for m in FEED["models"]}

def ask(model, messages, budget=4_000, hard_cap=32_000, **kw):
    """Retry a cut-off reply with a doubled budget, never past the cap or the context window."""
    while True:
        r = client.chat.completions.create(model=model, messages=messages,
                                           max_tokens=budget, **kw)
        if r.choices[0].finish_reason != "length":
            return r
        room = CONTEXT[model] - r.usage.prompt_tokens        # context holds prompt + answer
        nxt = min(budget * 2, hard_cap, room)
        if nxt <= budget:
            raise RuntimeError(f"still cut off at max_tokens={budget}")
        print(f"cut off at {budget}, retrying with {nxt}")
        budget = nxt
```

タスクによっては、倍にする以外に 2 つの方法があります。

-   **同じ予算で `reasoning_effort="low"` にしてリトライする。** 単純なタスクではモデルが考えすぎることが多く、上限を上げなくても強さを下げれば解決します。
-   **タスクを分割する。** 応答が高いキャップに何度も達するなら、たいていリクエストが一度に多くを求めすぎています。

打ち切りはすべてタスクの種類とともにログに残してください。率が上がっているなら、プロンプト、モデル、入力データのどれかが変わったということで、予算を測り直す必要があります。リトライは新しい推論として再び課金されるので、[長時間動くエージェント：タイムアウトとリトライ](https://broadrouter.com/ja/blog/long-running-agents-timeouts-retries/)のように試行回数を制限してください。

## ストリーミングでは何が変わりますか？

`stream=True` では、推論は最初の見えるトークンより前に行われるため、推論モデルは最初は止まっているように見えることがあります。チャット UI では、内容が届くまで「考え中」の状態を表示し、クライアントのタイムアウトは回答だけでなく思考時間も見込んで設定してください。

推論のテキストそのものを別のフィールドでストリーミングするサーバーもあります。フィールド名は標準化されていません。DeepSeek 自身の API は `reasoning_content` を使い、vLLM はフィールド名を `reasoning_content` から `reasoning` に変更し、古いクライアントコードは “could silently read an empty”（訳：気づかないうちに空の）フィールドを読むかもしれないと警告しています。BroadNet のドキュメントには推論テキストのフィールドの記載がないため、使うモデルの生のレスポンスを確認せずに、それを前提とした機能を作らないでください。読む場合は防御的に読みます。

```python
for chunk in stream:
    if chunk.choices:
        delta = chunk.choices[0].delta
        thinking = getattr(delta, "reasoning", None) or getattr(delta, "reasoning_content", None)
        # log or display `thinking` only if your provider actually sends it
        if delta.content:
            print(delta.content, end="")
    elif chunk.usage:                                  # last chunk, with include_usage
        print("\nreasoning tokens:", getattr(chunk.usage.completion_tokens_details, "reasoning_tokens", None))
```

最後のチャンクの usage には `stream_options={"include_usage": True}` が必要で、BroadNet のドキュメントにも記載があります。ストリーミングの詳細は[ストリーミングガイド](https://broadrouter.com/ja/guides/streaming-chat-completions/)と [SSE の解説](https://broadrouter.com/ja/blog/llm-streaming-sse-explained/)を参照してください。

## どのパラメーター名を送るべきですか？

| API | パラメーター | 推論を含むか |
| --- | --- | --- |
| OpenAI Chat Completions | `max_completion_tokens`（`max_tokens` は非推奨） | はい |
| OpenAI Responses | `max_output_tokens` | はい |
| BroadNet Inference（Chat Completions） | `max_tokens`（ドキュメントのとおり） | はい |
| vLLM サーバー | `max_tokens`、オプションで `thinking_token_budget` | はい |

プロバイダー間でコードを移すときは、そのプロバイダーのドキュメントにある名前を送り、テスト呼び出しを 1 回行って上限が効いていることを確認してください。黙って無視される上限は、暴走した応答が来るまで問題なく見えます。変わる他のパラメーターは[移行チェックリスト](https://broadrouter.com/ja/blog/openai-compatible-api-migration-checklist/)にまとめています。

## BroadNet Inference の位置づけ

BroadNet の 3 つの推論モデルは、モデルが提供する場合に推論トークンを `usage` で報告するので、上の測定方法はそのまま使えます。最も余地が大きいのは DeepSeek V4.1 Flash と GLM 5.3 で、コンテキストは 1,048,576 トークンです。Qwen3.8 27B は 262,144 です。タスクに推論が不要なら、[Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) は推論モデルとして掲載されていないので、予算の問題自体を避けられます。定額の [DeepSeek V4.1 Flash プラン](https://broadrouter.com/ja/guides/unlimited-llm-api-sessions/)では思考トークンにトークン単位の課金はありませんが、打ち切られた応答は時間を無駄にするので、同じ予算の考え方が当てはまります。BroadNet には推論専用の上限の記載がありません。必要なら、それを提供するプロバイダーかセルフホストのサーバーを使ってください。

関連する無料ツール（英語）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[max\_tokens（最大出力トークン数）](https://broadrouter.com/ja/glossary/max-tokens/)

max\_tokens とは、モデルが 1 回の応答で生成できるトークン数の上限を決める LLM API のパラメーターです。生成が上限に達すると止まり、応答は途中で打ち切られたものとして、たとえば finish\_reason が "length" になります。

[推論トークン（reasoning tokens）](https://broadrouter.com/ja/glossary/reasoning-tokens/)

推論トークンとは、推論モデルが目に見える回答を書く前に、問題を考え抜くために生成するトークンです。通常は出力トークンとして課金され、出力の上限とコンテキストウィンドウに算入されます。API によっては非表示になったり、要約されたりします。

[入力トークンと出力トークン（input and output tokens）](https://broadrouter.com/ja/glossary/input-and-output-tokens/)

入力トークンとは、モデルがリクエストで読むトークンで、システムプロンプト、会話履歴、ツール定義、画像を含みます。出力トークンは、推論を含めモデルが返答として生成するトークンです。LLM API は通常この 2 つを別の単価で課金し、出力のほうが高額です。

[Chat Completions API（チャット補完 API）](https://broadrouter.com/ja/glossary/chat-completions-api/)

Chat Completions API とは、OpenAI の HTTP エンドポイント POST /v1/chat/completions で、モデル名とロール付きメッセージのリストを受け取り、モデルの次のメッセージを返します。そのリクエストと応答の形は、OpenAI 互換のプロバイダーや SDK が使う共通形式になりました。

[vLLM](https://broadrouter.com/ja/glossary/vllm/)

vLLM とは、LLM の推論とサービングのためのオープンソースライブラリで、UC バークレーの Sky Computing Lab で開発が始まりました。PagedAttention で KV キャッシュのメモリを管理し、リクエストを連続的にバッチ処理し、多くの量子化形式に対応し、OpenAI 互換の HTTP サーバーを提供します。

[AI エージェント（AI agent）](https://broadrouter.com/ja/glossary/agent/)

AI エージェントとは、言語モデルが目標に向けて自分で手順を決めるシステムです。どのツールを呼ぶかを決め、結果を読み、最終回答を出すか上限に達するまで繰り返します。決まった箇所でモデルを呼ぶ固定のスクリプトは、ふつうワークフローと呼ばれます。

[OpenAI 互換 API（OpenAI-compatible API）](https://broadrouter.com/ja/glossary/openai-compatible-api/)

OpenAI 互換 API とは、POST /v1/chat/completions など OpenAI API と同じリクエスト形式とレスポンス形式を受け付ける HTTP API です。OpenAI の SDK やツールは、ベース URL、API キー、モデル名を変えるだけで利用できます。

## よくある質問

### 推論モデルが空の応答を返すのはなぜですか？

モデルが回答を書く前に、max\_tokens の予算をすべて隠れた推論に使い切ったためです。このとき finish\_reason は "length" になります。max\_tokens を上げる、reasoning\_effort を下げる、あるいはその両方を行ってください。応急処置をまとめた短いガイドへのリンクがこの記事にあります。

### 推論モデルの max\_tokens はいくつに設定すればいいですか？

まず測ってください。余裕のある上限で実際のプロンプトを 50 件以上実行し、そのタスクの completion\_tokens の 95 パーセンタイルを取り、約 20% 足します。BroadNet のドキュメントは下限として 1,000 トークン以上を挙げており、OpenAI は自社モデルを使い始めるときに 25,000 を確保することを勧めています。

### max\_tokens を大きくすると料金は上がりますか？

それ自体では上がりません。課金対象は上限ではなく、モデルが生成したトークンです。上限を上げて費用が増えるのは、本来なら打ち切られていた応答の場合だけで、その場合は打ち切られた応答のリトライにどのみち費用がかかっていました。

### max\_completion\_tokens と max\_tokens は同じですか？

OpenAI では、max\_completion\_tokens が非推奨の max\_tokens に代わるもので、推論トークンを含むことが明記されています。OpenAI 互換のプロバイダーの多くは、代わりに max\_tokens をドキュメントに記載しています。BroadNet のドキュメントは max\_tokens を使い、推論もそれに含まれるとしています。

### 推論だけを回答とは別に制限できますか？

サーバーが対応している場合に限ります。vLLM には thinking\_token\_budget パラメーターがあり、独自のパラメーターを持つプロバイダーもあります。BroadNet のドキュメントにあるのは reasoning\_effort を low にする方法で、推論専用の上限ではないため、両方まとめて予算を組んでください。

## 続けて読む

-   [推論トークン：見えている以上の出力に課金される理由](https://broadrouter.com/ja/blog/reasoning-tokens-cost/)
-   [LLM のストリーミング解説：SSE のチャンク、delta、usage、キャンセル](https://broadrouter.com/ja/blog/llm-streaming-sse-explained/)
-   [JSON モードと json\_schema：壊れない構造化出力の作り方](https://broadrouter.com/ja/blog/structured-output-json-schema/)
-   [長時間動くエージェント：崩れないタイムアウト、リトライ、チェックポイント](https://broadrouter.com/ja/blog/long-running-agents-timeouts-retries/)
-   [OpenAI 互換 API への移行チェックリスト](https://broadrouter.com/ja/blog/openai-compatible-api-migration-checklist/)
-   [BroadNet の GPU ハードウェアとサービング方式（BroadNet の説明による）](https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API のレスポンスをキャッシュしてコスト削減：Python の完全一致キャッシュ](https://broadrouter.com/ja/blog/cache-llm-responses-cut-cost/)
-   [ガイド：推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)
-   [ガイド：chat completions のストリーミングと接続切断への対処](https://broadrouter.com/ja/guides/streaming-chat-completions/)
-   [ガイド：OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-reasoning-model-max-tokens-budget&utm_content=page-cta) ·

**出典**

-   [BroadNet Inference API リファレンス：推論は max\_tokens に含まれる、1,000 トークン以上、reasoning\_effort は low、usage フィールド（2026-11-15 確認）（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-reasoning-model-max-tokens-budget&utm_content=sources)
-   [BroadNet pricing.json フィールドリファレンス：context\_length はプロンプトと回答の合計（2026-11-15 確認）（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-reasoning-model-max-tokens-budget&utm_content=sources#pricing-json)
-   [OpenAI 推論ガイド：不完全な応答、使い始めは 25,000 トークン以上を確保（2026-11-15 確認）](https://developers.openai.com/api/docs/guides/reasoning)
-   [OpenAI Chat Completions リファレンス：max\_completion\_tokens は推論トークンを含む、max\_tokens は非推奨（2026-11-15 確認）](https://developers.openai.com/api/reference/resources/chat/subresources/completions/methods/create)
-   [DeepSeek API ドキュメント、思考モード：reasoning\_content フィールド、思考の強さのレベル（2026-11-15 確認）](https://api-docs.deepseek.com/guides/thinking_mode)
-   [vLLM ドキュメント、推論出力：reasoning フィールド（旧 reasoning\_content）、thinking\_token\_budget（2026-11-15 確認）](https://docs.vllm.ai/en/latest/features/reasoning_outputs.html)
