看起来完整的回复不一定真的完整。finish_reason 是唯一能告诉你模型是否“自己说完了”的字段。
工作原理
choices 中的每一项都带有一个 finish_reason。OpenAI 的参考文档列出了以下取值:
| 取值 | 含义(OpenAI) |
|---|---|
stop |
自然停止,或命中了提供的停止序列 |
length |
“The maximum number of tokens specified in the request was reached”(译文:达到了请求中指定的最大 token 数) |
tool_calls |
模型调用了工具 |
content_filter |
“Content was omitted due to a flag from our content filters”(译文:内容因被内容过滤器标记而省略) |
function_call |
旧版、已弃用的函数调用形式 |
Anthropic 的 Messages API 使用 stop_reason,取值自成一套,包括 end_turn、max_tokens、stop_sequence、tool_use、pause_turn、refusal 和 model_context_window_exceeded。当停止序列触发时,Anthropic 还会在 stop_sequence 中返回具体是哪一个。
choice = r.choices[0]
if choice.finish_reason == "length":
raise RuntimeError("cut off: raise max_tokens and resend")
if choice.finish_reason == "tool_calls":
run_tools(choice.message.tool_calls)
为什么重要
- 被截断的 JSON。
length的回复是不完整的。把括号补上能让它通过解析,但数据已经丢了。无效 JSON 一文专门讲了这一点。 - 智能体循环。
tool_calls的意思是“去执行工具,然后再调用我”,而不是“完成了”。 - 缓存。 只缓存以
stop结束的回复。一条被截断的回答缓存一周,看起来就像模型的 bug。
在 BroadNet Inference 上
BroadNet 的 API 参考文档没有说明 finish_reason 的取值,所以依赖它们之前,请先记录你实际收到的值。不过文档说明了 length 意外出现的主要原因:DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再作答,而思考 token 计入 max_tokens。BroadNet 指出,上限设得太小时,“the reasoning can use the whole budget and the answer comes back empty.”(译文:思考可能用光全部预算,返回的回答为空。)请留出 1,000 个或更多 token,或者把 reasoning_effort 设为 low。空回答指南一步步讲解了解决方法。
常见错误
- 不先检查 finish_reason 就直接读取
message.content。 - 思考用光了全部预算导致回答为空,却把它当成模型故障。