BroadRouter

frequency penalty と presence penalty

更新日

frequency penalty と presence penalty とは、出力にすでに現れたトークンのスコアを下げるサンプリング設定です。presence penalty はトークンが一度でも現れると適用され、frequency penalty は繰り返すたびに大きくなります。OpenAI の API ではどちらも -2.0〜2.0 で、デフォルトは 0 です。

別名: 頻度ペナルティ、存在ペナルティ、繰り返しペナルティ、反復ペナルティ、frequency penalty、presence penalty、frequency_penalty、presence_penalty、repetition penalty

ループにはまったモデルは、トークンが尽きるまで同じフレーズを繰り返します。ペナルティは、サンプリングの段階でかける大まかな対処法です。

しくみ

次のトークンを引く前に、サーバーはすでに生成されたトークンのスコアを調整します。

設定 vLLM のドキュメントによるペナルティの対象 範囲とデフォルト
presence_penalty 「based on whether they appear in the generated text so far」(訳:それまでに生成されたテキストに現れたかどうか)に基づくトークン OpenAI:-2.0〜2.0、デフォルト 0
frequency_penalty 「based on their frequency in the generated text so far」(訳:それまでに生成されたテキストでの出現頻度)に基づくトークン OpenAI:-2.0〜2.0、デフォルト 0
repetition_penalty 「based on whether they appear in the prompt and the generated text so far」(訳:プロンプトとそれまでに生成されたテキストに現れたかどうか)に基づくトークン vLLM と Hugging Face:1.0 でペナルティなし

正の値は使用済みのトークンを避けさせ、負の値は繰り返しを起こりやすくします。OpenAI によると、正の frequency penalty は「the model’s likelihood to repeat the same line verbatim」(訳:モデルが同じ行をそのまま繰り返す可能性)を下げ、正の presence penalty は「the model’s likelihood to talk about new topics」(訳:モデルが新しい話題に触れる可能性)を上げます。repetition_penalty について vLLM は、1 より大きい値は新しいトークンを、1 より小さい値は繰り返しを促すとしています。Hugging Face のドキュメントは、このペナルティについて CTRL の論文を参照しています。

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

なぜ重要か

  • 長い出力でのループ。 エージェントや長い要約は、同じテキストの繰り返しに陥ることがあります。小さなペナルティでループを断ち切れることがあり、max_tokens の厳格な上限で被害を抑えられます。
  • 副作用。 ペナルティが作用するのはトークンであって、アイデアではありません。強くしすぎると、コードの変数名、JSON のキー、意図的に繰り返されるアラビア語テキスト中の名前など、モデルが再利用すべき語まで使えなくなります。0 から始めて少しずつ変えてください。
  • サンプリング設定との重なり。 temperature と top-p も多様性を変えます。テストでは設定を 1 つずつ変えてください。

BroadNet Inference の場合

BroadNet の API リファレンスには frequency_penalty、presence_penalty、repetition_penalty の記載がありません。頼る前に試してください。繰り返しが起きやすいプロンプトを、フィールドありとなしで送って比べます。長時間の実行で繰り返しが出るなら、より明確なプロンプト、より低い出力上限を試すか、実行を止めてチェックポイントから再開してください。このパターンは夜間のエージェント実行の記事で扱っています。

よくある間違い

  • プロンプトの問題を直すためにペナルティを高く設定すること。繰り返しは、多くの場合モデルに明確な終わりどころがないことを意味します。
  • キーが繰り返し現れるのが当然の構造化出力にペナルティを使うこと。

よくある質問

frequency penalty と presence penalty の違いは何ですか?

presence penalty は「このトークンは出てきたか」を見て、一度だけ適用されます。frequency penalty は「何回出てきたか」を見て、繰り返すたびに大きくなります。vLLM は、それまでのテキストに現れたかどうか、その頻度によってトークンにペナルティを課すものと説明しています。

repetition_penalty は同じものですか?

いいえ。vLLM と Hugging Face が使う別の乗数で、1.0 がペナルティなしを意味します。vLLM は出力だけでなく、プロンプトと出力の両方のトークンにこれを適用します。

BroadNet Inference はこれらのペナルティに対応していますか?

BroadNet の API リファレンスには frequency_penalty、presence_penalty、repetition_penalty の記載がありません。頼る前に試してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く