BroadRouter

频率惩罚与存在惩罚(frequency / presence penalty)

更新于

频率惩罚与存在惩罚是一类采样设置,会降低输出中已出现 token 的分数。存在惩罚在 token 出现过一次后就生效;频率惩罚随每次重复而加大。在 OpenAI 的 API 中,两者的取值范围都是 -2.0 到 2.0,默认值为 0。

又称: 频率惩罚、存在惩罚、重复惩罚、话题惩罚、frequency penalty、presence penalty、frequency_penalty、presence_penalty、repetition penalty

陷入循环的模型会一遍遍重复同一句话,直到 token 用完。惩罚参数是在采样阶段施加的一种粗放修正。

工作原理

在抽取每个下一个 token 之前,服务器会调整已生成 token 的分数。

设置 vLLM 文档所说的惩罚对象 范围与默认值
presence_penalty 按 token “based on whether they appear in the generated text so far”(译文:是否已在已生成文本中出现)施加惩罚 OpenAI:-2.0 到 2.0,默认 0
frequency_penalty 按 token “based on their frequency in the generated text so far”(译文:在已生成文本中的出现频率)施加惩罚 OpenAI:-2.0 到 2.0,默认 0
repetition_penalty 按 token “based on whether they appear in the prompt and the generated text so far”(译文:是否已在提示词和已生成文本中出现)施加惩罚 vLLM 和 Hugging Face:1.0 表示不惩罚

正值会让模型避开用过的 token;负值则让重复更可能出现。OpenAI 说,正的频率惩罚会降低 “the model’s likelihood to repeat the same line verbatim”(译文:模型逐字重复同一行的可能性),正的存在惩罚会提高 “the model’s likelihood to talk about new topics”(译文:模型谈论新话题的可能性)。对于 repetition_penalty,vLLM 说大于 1 的值倾向于新 token,小于 1 的值倾向于重复。Hugging Face 的文档在介绍这一惩罚时引用了 CTRL 论文。

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

为什么重要

  • 长输出中的循环。 智能体和长摘要可能陷入重复文本。小幅惩罚能打破循环,而硬性的 max_tokens 上限能控制损失。
  • 副作用。 惩罚作用于 token,而不是想法。惩罚太强可能让模型无法复用它必须用到的词,比如代码里的变量名、JSON 的键,或者一段阿拉伯语文本中按设计就要重复出现的名字。从 0 开始,小步调整。
  • 与采样设置重叠。 温度和 top-p 也会改变多样性。测试时一次只改一个设置。

在 BroadNet Inference 上

BroadNet 的 API 参考文档没有说明 frequency_penalty、presence_penalty 或 repetition_penalty。依赖它们之前请先测试:用一个容易重复的提示词,分别带上和不带这个字段发送,比较结果。如果长时间运行中出现重复,可以试试更清晰的提示词、更低的输出上限,或者停止运行并从检查点恢复;通宵运行智能体一文介绍了这种做法。

常见错误

  • 用很高的惩罚值来解决提示词本身的问题。重复往往意味着模型没有明确的结束点。
  • 在结构化输出上使用惩罚,而那里的键本来就必须重复出现。

常见问题

频率惩罚和存在惩罚有什么区别?

存在惩罚问的是“这个 token 出现过吗?”,只作用一次。频率惩罚问的是“出现过几次?”,随每次重复而加大。vLLM 的描述是:分别按 token 是否已在当前文本中出现、以及出现的频率来施加惩罚。

repetition_penalty 是同一个东西吗?

不是。它是 vLLM 和 Hugging Face 使用的另一个乘数,1.0 表示不惩罚。vLLM 会把它作用于提示词和输出中的 token,而不只是输出。

BroadNet Inference 支持这些惩罚参数吗?

BroadNet 的 API 参考没有说明 frequency_penalty、presence_penalty 或 repetition_penalty。依赖它们之前请先测试。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity