BroadRouter

max_tokens(最大输出 token 数)

更新于

max_tokens 是大模型 API 的一个参数,用于设定模型在一次回复中最多能生成多少 token。生成达到上限时就会停止,响应会被标记为截断,例如 finish_reason 为 "length"。

又称: 最大输出长度、输出 token 上限、最大 token 数、max_tokens 参数、max_completion_tokens、max_output_tokens、output token limit、maximum output length

max_tokens 是单次回复的输出预算。它能防止回答失控,但设得太低会把回答截断,甚至什么都不返回。

工作原理

模型一次生成一个 token。数量达到 max_tokens 时,生成就会停止,哪怕正说到一半。响应随后会说明结束的原因:

finish_reason 含义
stop 模型自己写完了
length 达到了 max_tokens 上限
tool_calls 模型请求调用工具

这个参数有好几个名字。OpenAI 的 Chat Completions API 现在把 max_tokens 标记为弃用,改用 max_completion_tokens,它是一个同时包含可见输出和思考 token 的上限。OpenAI 的 Responses API 使用 max_output_tokens。Anthropic 的 Messages API 使用 max_tokens。许多 OpenAI 兼容服务商接受 max_tokens。

提示词和输出共用一个上下文窗口。如果窗口是 32,768 token,提示词占了 30,000,那么无论 max_tokens 设为多少,最多只能返回 2,768 个 token。

为什么重要

  • 控制费用。 在按 token 计费的密钥上,max_tokens 就是单次回复输出费用的上限。
  • 空回答。 在思考模型上,思考也从同一个预算里扣。上限为 100 时,可能全部花在思考 token上,于是可见回答为空,finish_reason 为 length。
  • JSON 不完整。 被截断的回复会让结构化输出残缺、无法解析。解析之前先检查 finish_reason。

在 BroadNet Inference 上

DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,BroadNet 的文档说思考内容计入 max_tokens。请预留 1,000 个 token 或更多,或者不设置它,或者降低 reasoning_effort:

response = client.chat.completions.create(
    model="broadnet/glm-5.3",
    max_tokens=2000,
    messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
    print("Cut off: raise max_tokens or lower reasoning_effort")

上下文大小因模型而异:DeepSeek V4.1 Flash 和 GLM 5.3 为 1,048,576 token,Qwen3.8 27B 为 262,144,BroadNet Gemma 4 VL 26B 为 32,768。参见模型页面和为什么思考模型会返回空回答。

常见错误

  • 迁移时照搬非思考模型上的小上限。参见迁移检查清单。
  • 把 length 当成成功。请记录下来,并留出更多空间后重试。

常见问题

max_tokens 和上下文窗口是一回事吗?

不是。上下文窗口是模型能处理的总量,即提示词加输出。max_tokens 只限制输出,而且提示词加上 max_tokens 仍然必须装得进窗口。

每次都应该设置 max_tokens 吗?

需要对费用或长度设硬上限时就设置。在思考模型上要留足空间;如果服务商的默认值已经够大,也可以不设。

max_tokens 和 max_completion_tokens 有什么区别?

OpenAI 在 Chat Completions 上已将 max_tokens 标记为弃用,改用 max_completion_tokens,后者明确包含思考 token。许多 OpenAI 兼容服务商仍然接受 max_tokens。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity