采样本来就是故意随机的。seed 把随机性固定下来,让重跑一次有机会得到和第一次一样的结果。
工作原理
当温度大于零时,服务器会从模型的分布中随机抽取每一个下一个 token。这些抽取由随机数生成器驱动。把它的初始值,也就是 seed 固定下来,同一个请求就应该得到同样的抽取结果。
OpenAI 的参考文档把 seed 标为 Beta。cookbook 说 “our system will make a best effort to sample deterministically”(译文:我们的系统会尽力进行确定性采样)。要得到一致的输出,它要求在各次请求之间保持以下内容不变:
seed整数,- 提示词和消息,
temperature、top_p 和max_tokens。
响应中包含 system_fingerprint,OpenAI 说它 “represents the backend configuration that the model runs with”(译文:代表模型运行所用的后端配置)。如果两次运行之间它变了,即使 seed 相同,输出也可能不同。
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
开源模型服务器也有同样的开关。vLLM 的 SamplingParams 有 seed,即 “Random seed to use for the generation”(译文:生成时使用的随机种子),默认为空。
为什么重要
- 评测。 在评测(eval)中比较提示词或模型时,固定 seed 能减少多次运行之间的噪声。但仍要跑多个样本;尽力而为不等于保证。
- 调试。 带 seed 的请求让奇怪的回复更容易复现。
- 缓存。 如果你缓存响应,请把 seed 加进缓存键,就像响应缓存一文那样做。
在 BroadNet Inference 上
BroadNet 的 API 参考文档没有说明 seed 或 system_fingerprint。依赖它之前请先测试:把同一个带 seed 的请求发送五次,比较输出。如果结果不同,就降低温度,保存你需要的输出,并在多个样本而不是单个样本上做评估。迁移代码详解把 seed 列为需要测试或删除的 OpenAI 字段之一。
常见错误
- 把 seed 当成逐字节一致输出的承诺。
- 两次运行之间改了 max_tokens 或系统提示词,却把差异归咎于 seed。