BroadRouter
开始使用

停止序列(stop sequences)

更新于

停止序列(stop sequences)是随请求发送的字符串,模型一旦生成其中任意一个就停止输出。OpenAI 的字段叫 stop,最多接受 4 个序列;Anthropic 叫 stop_sequences。匹配到的文本通常不会出现在返回结果里。

又称: 停止词、停止符、stop 参数、停止字符串、stop sequence、stop parameter、stop strings、stop_sequences

有时你很清楚回答应该在哪里结束。停止序列让服务器在那里切断生成,而不是为你反正要扔掉的 token 付费。

工作原理

你传入一个或多个字符串。每生成一个新的 token,服务器都会检查输出里是否已经包含其中之一。一旦包含,生成就结束。

{
  "model": "broadnet/gemma-4-26b-a4b",
  "messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
  "stop": ["END"]
}

各服务商的细节(来自参考来源):

服务商 字段 说明
OpenAI Chat Completions stop “Up to 4 sequences”(译文:最多 4 个序列);参考文档仍写着 “Not supported with latest reasoning models o3 and o4-mini”(译文:最新的推理模型 o3 和 o4-mini 不支持)(2026-11-16 时的措辞)
Anthropic Messages stop_sequences 响应中带有 stop_reason: "stop_sequence",并在 stop_sequence 中给出匹配到的序列
vLLM(开源模型服务器) stop “String(s) that stop the generation when they are generated”(译文:一旦生成就会停止生成的字符串);输出中不包含它们

在 OpenAI 格式中,匹配到停止序列时 finish_reason 报告为 stop,和自然结束是同一个值。Anthropic 则把两者区分开。

为什么重要

  • 成本与延迟。 输出 token 要计费,生成起来也慢。在已知标记处停止,两样都能省。
  • 格式控制。 few-shot 提示词常在示例之间用 ### 这样的分隔符。把这个分隔符设为停止序列,可以防止模型自己接着写下一个示例。
  • 局限。 停止序列管不了截断点之前的内容。要得到机器可读的输出,结构化输出是更可靠的工具。max_tokens 仍应作为硬性上限保留。

在 BroadNet Inference 上

BroadNet 的 API 参考文档没有说明 stop。依赖它之前请先测试:发一个应当触发你的标记的提示词,看回复是否在那里结束。作为后备,可以在客户端遇到第一个标记时截断文本;在流式输出中,也可以在标记出现后直接关闭读取。BroadNet 上的推理模型(DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B)会先思考再作答,所以还要测试停止字符串是否会在思考内容里被匹配到。迁移代码详解列出了其他需要检查的 OpenAI 字段。

常见错误

  • 选了一个在正常输出里也会出现的停止字符串,比如换行符或常用词。
  • 以为停止字符串会出现在回复里,并据此做解析。

常见问题

最多可以发送几个停止序列?

OpenAI 的参考文档允许在 stop 中放最多 4 个序列。其他服务商有各自的上限,请查阅它们的参考文档。

停止序列会出现在回复里吗?

通常不会。vLLM 的文档说返回的输出不包含停止字符串。Anthropic 会在单独的 stop_sequence 字段里返回触发的是哪个序列。

BroadNet Inference 支持 stop 吗?

BroadNet 的 API 参考没有说明 stop。依赖它之前,请先在你的模型上测试,并在客户端保留一道截断作为后备。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity