top-p は、モデルがトークンを 1 つ選ぶ前に、どのトークンを抽選に参加させるかを決めます。
しくみ
Nucleus サンプリングは、Holtzman らが 2019 年に提案しました。top-p の語彙を、累積確率が p 以上になる最小のトークン集合と定義しています。集合の外のトークンは確率 0 になり、残りは合計が 1 になるよう再スケールされ、そこから次のトークンがサンプリングされます。論文の主な結果では p = 0.95 を使っています。
この集合の大きさはステップごとに変わります。
| 次トークンの確率分布 | p = 0.9 で残るトークン数 |
|---|---|
| 1 つのトークンが 0.95 | 1 |
| 4 つのトークンが 0.3、0.3、0.2、0.15 | 4 |
| 長く平らに広がった分布 | 多数 |
これこそがこの手法の狙いです。論文は、分布の「less reliable tail」(訳:信頼性の低い裾)がテキストの劣化を招くと論じ、そこを切れば一貫性を失わずに多様な出力が得られるとしています。固定の top-k はこのように適応できません。モデルに確信があってもなくても、同じ数を残すからです。
OpenAI の API では top_p のデフォルトは 1 で、切り捨てなしを意味します。リファレンスは「0.1 means only the tokens comprising the top 10% probability mass are considered.」(訳:0.1 は、確率質量の上位 10% を構成するトークンだけを考慮するという意味)という例を挙げています。Hugging Face Transformers も、モデルの generation_config.json が別の値を指定していなければデフォルトは 1.0 です。
なぜ重要か
- おかしなトークンが減る。 裾を切ると、文章を脱線させる珍しい選択がなくなります。長い回答やハルシネーションのリスクに効きます。
- temperature との相互作用。 temperature はスコアに適用され、top-p はその結果を刈り込みます。両方を同時に調整すると挙動が予測しにくくなるため、OpenAI は片方だけを変えるよう勧めています。
- デバッグ。 logprobs を見てモデルが確率の低いトークンを選んでいたら、top-p を下げればそれを防げたはずです。
top-p は料金に影響しません。生成されたトークンはどれも同じ料金です。
BroadNet Inference の場合
BroadNet の API リファレンスには、top_p、top_k、それらのデフォルト値の記載がありません。リクエストの例でもどちらも設定されていません。OpenAI SDK は top_p をそのまま送りますが、各モデルがそれを適用するかどうかは記載されていないため、頼る前にご自身のプロンプトで試してください。Python SDK のガイドと、比較中はサンプリング設定を固定すべき理由を説明した乗り換え前のモデル評価の記事も参照してください。
よくある間違い
top_pと temperature を同時に調整し、どちらが結果を変えたのかわからなくなること。- あるモデルのサンプリング設定を別のモデルにそのまま流用すること。推奨値はモデルごとに異なります。