BroadRouter

Top-p(核采样,nucleus sampling)

更新于

Top-p 又叫核采样(nucleus sampling),是一种解码方法:语言模型只在“累计概率达到阈值 p(如 0.9)的最小高概率 token 集合”中采样下一个 token,丢弃不太可能的长尾。

又称: 核采样、top_p 参数、top-p 采样、累积概率采样、nucleus sampling、top_p、top-p sampling

在模型挑出下一个 token 之前,top-p 先决定哪些 token 有资格参与抽取。

工作原理

Holtzman 等人在 2019 年提出了核采样。他们把 top-p 词表定义为累计概率至少为 p 的最小 token 集合。集合之外的 token 概率一律置为零,集合内的概率重新归一化使总和为 1,再从中采样下一个 token。论文的主要结果使用 p = 0.95。

这个集合的大小在每一步都会变化:

下一个 token 的概率分布 p = 0.9 时保留的 token 数
一个 token 占 0.95 1
四个 token,分别为 0.3、0.3、0.2、0.15 4
很长、很平的分布 很多

这正是这种方法的意义所在。论文认为,分布中 “less reliable tail”(译文:不太可靠的长尾)会导致文本退化,把它砍掉就能在不损失连贯性的前提下得到多样的输出。固定的 top-k 做不到这种自适应:无论模型有把握还是没把握,它保留的数量都一样。

在 OpenAI 的 API 里,top_p 默认值为 1,即不做截断。参考文档举的例子是 “0.1 means only the tokens comprising the top 10% probability mass are considered.”(译文:0.1 表示只考虑构成前 10% 概率质量的 token。)Hugging Face Transformers 的默认值也是 1.0,除非模型的 generation_config.json 设置了别的值。

为什么重要

  • 更少的奇怪 token。 砍掉长尾能去掉那些让文本跑偏的冷门选择,这对长回答和幻觉风险都很关键。
  • 与温度的相互作用。 温度作用在分数上,top-p 再对结果做裁剪。两者同时调,行为就很难预测,所以 OpenAI 建议只改其中一个。
  • 调试。 如果 logprobs 显示模型选了一个低概率的 token,更低的 top-p 本可以把它挡掉。

top-p 不影响价格。每个生成的 token 计费都一样。

在 BroadNet Inference 上

BroadNet 的 API 参考文档没有说明 top_p、top_k 或它们的默认值,请求示例里两者都没有设置。OpenAI SDK 会把 top_p 透传过去,但文档没有说明某个模型是否会应用它,所以在依赖它之前,请先用你自己的提示词测试。参见 Python SDK 指南,以及切换模型前如何评估一文,其中解释了为什么对比时必须固定采样设置。

常见错误

  • 同时调 top_p 和温度,结果不知道是哪一个改变了输出。
  • 把一个模型的采样设置照搬到另一个模型上。不同模型的推荐值并不相同。

常见问题

top-p 和温度(temperature)有什么区别?

温度会重新塑造所有 token 的概率;top-p 则砍掉不太可能的长尾,只在剩下的部分里采样。OpenAI 建议二者只调一个,不要同时调。

top-p 和 top-k 有什么区别?

top-k 保留固定数量的 token,例如 50 个。top-p 保留达到概率阈值所需的任意数量的 token,所以模型有把握时集合很小,没把握时集合很大。

BroadNet 的文档有没有说明 top_p?

没有。BroadNet 的 API 参考没有为任何模型列出 top_p 或它的默认值。请在请求里设置它,并自己测试效果。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity