短いプロンプトを max_tokens: 100 で送ると、リクエストは成功したのに choices[0].message.content が空になっている。何も壊れてはいません。回答がまだ始まっていなかったのです。
何が起きているのか
推論モデルは、見える回答の前に隠れた思考の連鎖(chain of thought)を書きます。この 2 つは 1 つの max_tokens の枠を共有しています。上限が小さいと推論がそれを使い切り、標準の chat completions の形式では finish_reason が length になります。
3 つの対処法
1. 余裕を持たせる。 BroadNet のドキュメントの推奨どおり、max_tokens を 1,000 以上に設定します。推論モデル向け max_tokens 計算ツールを使うと、必要な回答の長さに合わせて上限を決め、コストも確認できます。
2. 推論を減らす。 単純なタスクでは reasoning_effort を low にします。
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. usage を確認する。 モデルが報告する場合、usage.completion_tokens_details.reasoning_tokens で推論に使われた量がわかります。
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
ストリームでは stream_options={"include_usage": True} を追加すると、同じ usage が最後のチャンクで届きます。chat completions のストリーミングを参照してください。
推論するモデル
| モデル | 先に推論する |
|---|---|
DeepSeek V4.1 Flash(broadnet/deepseek-v4.1-flash) |
はい |
GLM 5.3(broadnet/glm-5.3) |
はい |
Qwen3.8 27B(broadnet/qwen3.8-27b) |
はい |
BroadNet Gemma 4 VL 26B(broadnet/gemma-4-26b-a4b) |
記載なし |
トラブルシューティング
contentが空で、finish_reasonがlength。max_tokensを上げるか、reasoning_effortをlowにしてください。contentが空で、finish_reasonがstop。 上限は原因ではありません。プロンプトを確認し、レスポンス全体を出力して何が返ってきたかを見てください。completion_tokens_detailsでAttributeErrorが出る。 そのリクエストではモデルが内訳を報告していません。上の例のようにNoneを確認してください。- ストリームで最初のトークンが遅い。 モデルが回答を書く前に推論しています。
reasoning_effortを下げると待ち時間が短くなることがあります。
一日中エージェントを動かす場合、従量課金では推論トークンがかさみます。BroadNet の料金計算ツールで、定額の無制限プランのほうが安くなるタイミングを確認できます。
