max_tokens 是单次回复的输出预算。它能防止回答失控,但设得太低会把回答截断,甚至什么都不返回。
工作原理
模型一次生成一个 token。数量达到 max_tokens 时,生成就会停止,哪怕正说到一半。响应随后会说明结束的原因:
finish_reason |
含义 |
|---|---|
stop |
模型自己写完了 |
length |
达到了 max_tokens 上限 |
tool_calls |
模型请求调用工具 |
这个参数有好几个名字。OpenAI 的 Chat Completions API 现在把 max_tokens 标记为弃用,改用 max_completion_tokens,它是一个同时包含可见输出和思考 token 的上限。OpenAI 的 Responses API 使用 max_output_tokens。Anthropic 的 Messages API 使用 max_tokens。许多 OpenAI 兼容服务商接受 max_tokens。
提示词和输出共用一个上下文窗口。如果窗口是 32,768 token,提示词占了 30,000,那么无论 max_tokens 设为多少,最多只能返回 2,768 个 token。
为什么重要
- 控制费用。 在按 token 计费的密钥上,
max_tokens就是单次回复输出费用的上限。 - 空回答。 在思考模型上,思考也从同一个预算里扣。上限为 100 时,可能全部花在思考 token上,于是可见回答为空,
finish_reason为length。 - JSON 不完整。 被截断的回复会让结构化输出残缺、无法解析。解析之前先检查
finish_reason。
在 BroadNet Inference 上
DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,BroadNet 的文档说思考内容计入 max_tokens。请预留 1,000 个 token 或更多,或者不设置它,或者降低 reasoning_effort:
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
上下文大小因模型而异:DeepSeek V4.1 Flash 和 GLM 5.3 为 1,048,576 token,Qwen3.8 27B 为 262,144,BroadNet Gemma 4 VL 26B 为 32,768。参见模型页面和为什么思考模型会返回空回答。
常见错误
- 迁移时照搬非思考模型上的小上限。参见迁移检查清单。
- 把
length当成成功。请记录下来,并留出更多空间后重试。