BroadRouter

推論モデルの max_tokens の決め方:予算を見積もる方法

BroadNet Inference チーム · 約 6 分で読めます · 公開日

推論モデルでは max_tokens が思考と回答の両方の上限なので、厳しい上限だと見える文字が出る前に応答が切れます。タスクの種類ごとに出力トークンの合計を測り、max_tokens を 95 パーセンタイルの約 20% 増しにし、プロンプトとの合計をコンテキストウィンドウ内に収め、打ち切られた応答はハードキャップまで予算を倍にしてリトライします。

推論モデルは回答の前に考えます。そして OpenAI 互換 API の多くでは、その両方が 1 つの予算、max_tokens から出ていきます。非推論モデルと同じ感覚で、短い回答なら数百トークンと設定すると、一部の応答が finish_reason: "length" で空のまま返ってきます。応急処置は推論モデルが空の回答を返す理由にあります。この記事では、信頼できる予算の裏付けとなる方法を扱います。測定し、パーセンタイルから決め、コンテキストウィンドウを守り、それでも打ち切られる応答に対処する、という流れです。

推論にかかるコストとその削減方法は、推論トークン:見えている以上の出力に課金される理由を参照してください。

なぜ回答の前に予算が尽きるのですか?

モデルは順番に生成します。まず推論、次に見える回答です。どちらのトークンもすべて max_tokens に数えられます。BroadNet のドキュメントは DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B について、“the reasoning counts toward max_tokens”(訳:推論は max_tokens に含まれる)と書き、上限が小さいと “the answer comes back empty”(訳:回答が空で返る)としています。OpenAI の Chat Completions リファレンスも max_completion_tokens を同様に、“including visible output tokens and reasoning tokens”(訳:見える出力トークンと推論トークンを含む)上限として定義しています。

ですから問うべきは「回答の長さはどれくらいか」ではありません。「このタスク、この強さで、推論と回答を合わせてどれくらいか」です。この値は想像以上にばらつきます。OpenAI のガイドによれば、同社のモデルは問題に応じて “anywhere from a few hundred to tens of thousands of reasoning tokens”(訳:数百から数万の推論トークン)を生成することがあります。

max_tokens を大きくすると費用は上がりますか?

上がりません。これが予算をきつく設定しすぎる最もよくある理由です。max_tokens は上限です。課金されるのは実際に生成されたトークンです。1,800 トークン必要な応答は、上限が 4,000 でも 40,000 でも同じ費用です。

厳しすぎる上限が実際にもたらすコスト:

上限と必要量 支払うもの 得られるもの
上限が必要量より上 生成されたトークン 回答
上限が必要量より下 上限いっぱい、すべて推論 使えるものはなく、さらにリトライ

例で考えてみます。呼び出しの 4 分の 1 が 1,000 トークンを超える必要があるとします。max_tokens=1000 では、それらの呼び出しはそれぞれ 1,000 出力トークン分の思考が課金され、何も返さず、リトライされます。全呼び出しで平均すると、1 回あたり 250 出力トークンが無駄になります。これはリトライそのものと 2 回目のリクエストの遅延を含めない数字です。上限を 4,000 にすれば無駄はありません。Qwen3.8 27B の出力は 100 万トークンあたり $2.17 なので、量が増えれば無駄も積み上がります。

上限を高くしたときの本当のリスクは、暴走した応答です。ループしたり考えすぎたりして、必要以上に大量に生成するモデルです。ハードキャップでそれを抑えられます。キャップは次のようにデータから決めてください。

タスクに必要な量はどう測りますか?

1 種類のタスクについて、余裕のある上限で実際のプロンプトを実行し、出力トークンと推論の割合を記録します。モデルが報告する場合、usage.completion_tokens_details.reasoning_tokens が推論部分を示します。BroadNet のドキュメントにもこのフィールドが載っています。

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/qwen3.8-27b"

def measure(prompts, ceiling=16_000, **kw):
    """Run real prompts with a generous ceiling and return per-call token counts."""
    rows = []
    for p in prompts:
        r = client.chat.completions.create(model=MODEL, max_tokens=ceiling,
                                           messages=[{"role": "user", "content": p}], **kw)
        u, d = r.usage, r.usage.completion_tokens_details
        reasoning = (d.reasoning_tokens or 0) if d else 0
        rows.append({"reasoning": reasoning, "answer": u.completion_tokens - reasoning,
                     "finish": r.choices[0].finish_reason})
    return rows

def pct(values, q):
    values = sorted(values)
    return values[min(len(values) - 1, int(q * len(values)))]

def recommend(rows, margin=1.2):
    total = [r["reasoning"] + r["answer"] for r in rows]
    return {"p50": pct(total, 0.5), "p95": pct(total, 0.95), "max": max(total),
            "max_tokens": int(pct(total, 0.95) * margin),
            "cut_off": sum(r["finish"] == "length" for r in rows)}

# print(recommend(measure(my_prompts)))                       # default effort
# print(recommend(measure(my_prompts, reasoning_effort="low")))

信頼できる数字を得るためのルール:

  1. 1 回の実行で 1 種類のタスク。 分類、抽出、コードレビュー、計画立案では分布が大きく異なります。全体で 1 つの max_tokens にすると、リトライでお金を無駄にするか、暴走した応答を通してしまいます。
  2. 実際のプロンプトを 50 件以上。 10 サンプルの 95 パーセンタイルは、単に最大値です。
  3. 使う強さごとに実行する。 reasoning_effort="low" で分布は変わります。BroadNet のドキュメントにあるのは low です。他の値は頼る前にテストしてください。
  4. cut_off がゼロでなければ、上限を上げて再実行する。 打ち切られたサンプルは本当の長さを隠しています。
  5. モデルやプロンプトが変わったら再実行する。 新しいバージョンのモデルは、考える量が増えることも減ることもあります。

そのうえで、recommend() の結果からタスクごとに max_tokens を設定します。95 パーセンタイルに 20% を足すと、ほとんどの呼び出しは上限を十分下回り、まれな長い応答だけが下のリトライ経路に回ります。数字がそろったら、無料の推論トークン予算ツールがブラウザ上でこの計算をしてくれます。

コンテキストウィンドウは予算をどう制限しますか?

コンテキストウィンドウにはプロンプトと回答の両方が入ります。BroadNet の価格フィードは context_length を “the most tokens one request can hold, prompt and answer together”(訳:1 リクエストが保持できる最大トークン数、プロンプトと回答の合計)と定義しています。したがって次のようになります。

max_tokens ≤ コンテキスト長 − プロンプトのトークン数

モデル コンテキスト プロンプトが 200,000 トークンのときの max_tokens の余地
GLM 5.3 1,048,576 848,576
DeepSeek V4.1 Flash 1,048,576 848,576
Qwen3.8 27B 262,144 62,144

これはロングコンテキストの作業で効いてきます。Qwen3.8 27B で履歴が 250,000 トークンまで膨らんだエージェントには、思考と回答に使える余地が約 12,000 トークンしか残りません。ロングコンテキストのタスクは推論も多く必要になりがちなので、起動時に 1 回ではなく、呼び出しのたびに残りの余地を確認してください。収まるかどうかはコンテキストウィンドウとコンテキストウィンドウ計算ツールで確認できます。

それでも応答が打ち切られたらどうしますか?

すべての呼び出しで finish_reason を確認してください。length なら、content に多少テキストがあっても、回答は欠けているか不完全です。完全なものとしてパースしないでください。途中で切れた JSON オブジェクトは、下流のエラーのよくある原因です(構造化出力)。

コンテキストが許す範囲内で、ハードキャップまで予算を倍にしてリトライします。

import json, urllib.request

FEED = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
CONTEXT = {m["id"]: m.get("context_length") for m in FEED["models"]}

def ask(model, messages, budget=4_000, hard_cap=32_000, **kw):
    """Retry a cut-off reply with a doubled budget, never past the cap or the context window."""
    while True:
        r = client.chat.completions.create(model=model, messages=messages,
                                           max_tokens=budget, **kw)
        if r.choices[0].finish_reason != "length":
            return r
        room = CONTEXT[model] - r.usage.prompt_tokens        # context holds prompt + answer
        nxt = min(budget * 2, hard_cap, room)
        if nxt <= budget:
            raise RuntimeError(f"still cut off at max_tokens={budget}")
        print(f"cut off at {budget}, retrying with {nxt}")
        budget = nxt

タスクによっては、倍にする以外に 2 つの方法があります。

  • 同じ予算で reasoning_effort="low" にしてリトライする。 単純なタスクではモデルが考えすぎることが多く、上限を上げなくても強さを下げれば解決します。
  • タスクを分割する。 応答が高いキャップに何度も達するなら、たいていリクエストが一度に多くを求めすぎています。

打ち切りはすべてタスクの種類とともにログに残してください。率が上がっているなら、プロンプト、モデル、入力データのどれかが変わったということで、予算を測り直す必要があります。リトライは新しい推論として再び課金されるので、長時間動くエージェント:タイムアウトとリトライのように試行回数を制限してください。

ストリーミングでは何が変わりますか?

stream=True では、推論は最初の見えるトークンより前に行われるため、推論モデルは最初は止まっているように見えることがあります。チャット UI では、内容が届くまで「考え中」の状態を表示し、クライアントのタイムアウトは回答だけでなく思考時間も見込んで設定してください。

推論のテキストそのものを別のフィールドでストリーミングするサーバーもあります。フィールド名は標準化されていません。DeepSeek 自身の API は reasoning_content を使い、vLLM はフィールド名を reasoning_content から reasoning に変更し、古いクライアントコードは “could silently read an empty”(訳:気づかないうちに空の)フィールドを読むかもしれないと警告しています。BroadNet のドキュメントには推論テキストのフィールドの記載がないため、使うモデルの生のレスポンスを確認せずに、それを前提とした機能を作らないでください。読む場合は防御的に読みます。

for chunk in stream:
    if chunk.choices:
        delta = chunk.choices[0].delta
        thinking = getattr(delta, "reasoning", None) or getattr(delta, "reasoning_content", None)
        # log or display `thinking` only if your provider actually sends it
        if delta.content:
            print(delta.content, end="")
    elif chunk.usage:                                  # last chunk, with include_usage
        print("\nreasoning tokens:", getattr(chunk.usage.completion_tokens_details, "reasoning_tokens", None))

最後のチャンクの usage には stream_options={"include_usage": True} が必要で、BroadNet のドキュメントにも記載があります。ストリーミングの詳細はストリーミングガイドと SSE の解説を参照してください。

どのパラメーター名を送るべきですか?

API パラメーター 推論を含むか
OpenAI Chat Completions max_completion_tokens(max_tokens は非推奨) はい
OpenAI Responses max_output_tokens はい
BroadNet Inference(Chat Completions) max_tokens(ドキュメントのとおり) はい
vLLM サーバー max_tokens、オプションで thinking_token_budget はい

プロバイダー間でコードを移すときは、そのプロバイダーのドキュメントにある名前を送り、テスト呼び出しを 1 回行って上限が効いていることを確認してください。黙って無視される上限は、暴走した応答が来るまで問題なく見えます。変わる他のパラメーターは移行チェックリストにまとめています。

BroadNet Inference の位置づけ

BroadNet の 3 つの推論モデルは、モデルが提供する場合に推論トークンを usage で報告するので、上の測定方法はそのまま使えます。最も余地が大きいのは DeepSeek V4.1 Flash と GLM 5.3 で、コンテキストは 1,048,576 トークンです。Qwen3.8 27B は 262,144 です。タスクに推論が不要なら、Gemma 4 VL 26B は推論モデルとして掲載されていないので、予算の問題自体を避けられます。定額の DeepSeek V4.1 Flash プランでは思考トークンにトークン単位の課金はありませんが、打ち切られた応答は時間を無駄にするので、同じ予算の考え方が当てはまります。BroadNet には推論専用の上限の記載がありません。必要なら、それを提供するプロバイダーかセルフホストのサーバーを使ってください。

よくある質問

推論モデルが空の応答を返すのはなぜですか?

モデルが回答を書く前に、max_tokens の予算をすべて隠れた推論に使い切ったためです。このとき finish_reason は "length" になります。max_tokens を上げる、reasoning_effort を下げる、あるいはその両方を行ってください。応急処置をまとめた短いガイドへのリンクがこの記事にあります。

推論モデルの max_tokens はいくつに設定すればいいですか?

まず測ってください。余裕のある上限で実際のプロンプトを 50 件以上実行し、そのタスクの completion_tokens の 95 パーセンタイルを取り、約 20% 足します。BroadNet のドキュメントは下限として 1,000 トークン以上を挙げており、OpenAI は自社モデルを使い始めるときに 25,000 を確保することを勧めています。

max_tokens を大きくすると料金は上がりますか?

それ自体では上がりません。課金対象は上限ではなく、モデルが生成したトークンです。上限を上げて費用が増えるのは、本来なら打ち切られていた応答の場合だけで、その場合は打ち切られた応答のリトライにどのみち費用がかかっていました。

max_completion_tokens と max_tokens は同じですか?

OpenAI では、max_completion_tokens が非推奨の max_tokens に代わるもので、推論トークンを含むことが明記されています。OpenAI 互換のプロバイダーの多くは、代わりに max_tokens をドキュメントに記載しています。BroadNet のドキュメントは max_tokens を使い、推論もそれに含まれるとしています。

推論だけを回答とは別に制限できますか?

サーバーが対応している場合に限ります。vLLM には thinking_token_budget パラメーターがあり、独自のパラメーターを持つプロバイダーもあります。BroadNet のドキュメントにあるのは reasoning_effort を low にする方法で、推論専用の上限ではないため、両方まとめて予算を組んでください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く