Top-p는 모델이 토큰을 하나 고르기 전에, 어떤 토큰이 추첨 후보에 들어갈 수 있는지를 정합니다.
작동 방식
Holtzman과 동료들은 2019년에 뉴클리어스 샘플링을 제안했습니다. 이들은 top-p 어휘를 누적 확률이 p 이상이 되는 가장 작은 토큰 집합으로 정의합니다. 이 집합 밖의 토큰은 모두 확률이 0이 됩니다. 남은 토큰의 확률은 합이 1이 되도록 다시 조정되고, 다음 토큰은 그 안에서 샘플링됩니다. 논문의 주요 결과는 p = 0.95를 사용합니다.
이 집합의 크기는 단계마다 달라집니다.
| 다음 토큰 분포 | p = 0.9에서 남는 토큰 수 |
|---|---|
| 0.95인 토큰 하나 | 1 |
| 0.3, 0.3, 0.2, 0.15인 토큰 네 개 | 4 |
| 길고 평평하게 퍼진 분포 | 많음 |
이것이 이 방식의 핵심입니다. 논문은 분포의 “less reliable tail”(번역: 덜 신뢰할 수 있는 꼬리)이 텍스트를 망가뜨리며, 이를 잘라 내면 일관성을 잃지 않고도 다양한 출력을 얻을 수 있다고 주장합니다. 고정된 top-k는 이렇게 적응하지 못합니다. 모델이 확신하든 망설이든 같은 개수를 남기기 때문입니다.
OpenAI API에서 top_p의 기본값은 1이며, 아무것도 자르지 않는다는 뜻입니다. 레퍼런스는 “0.1 means only the tokens comprising the top 10% probability mass are considered.”(번역: 0.1은 상위 10% 확률 질량을 이루는 토큰만 고려한다는 뜻이다)라는 예를 듭니다. Hugging Face Transformers도 모델의 generation_config.json에 다른 값이 없으면 기본값 1.0을 씁니다.
왜 중요한가
- 이상한 토큰이 줄어듭니다. 꼬리를 자르면 텍스트를 엉뚱한 방향으로 끌고 가는 드문 선택이 사라집니다. 긴 답변과 할루시네이션 위험에서 특히 중요합니다.
- temperature와의 상호작용. temperature는 점수에 먼저 적용되고, top-p가 그 결과를 잘라 냅니다. 둘을 동시에 조정하면 동작을 예측하기 어려워지므로 OpenAI는 하나만 바꾸라고 권합니다.
- 디버깅. logprobs를 보니 모델이 확률이 낮은 토큰을 골랐다면, top-p를 낮췄을 때 그 토큰은 걸러졌을 것입니다.
top-p는 가격을 바꾸지 않습니다. 생성된 토큰은 모두 같은 방식으로 과금됩니다.
BroadNet Inference에서는
BroadNet의 API 레퍼런스는 top_p, top_k와 그 기본값을 문서화하지 않습니다. 요청 예시에서도 둘 다 설정하지 않습니다. OpenAI SDK는 top_p를 그대로 전달하지만, 모델마다 이를 적용하는지는 명시되어 있지 않으므로 의존하기 전에 실제 프롬프트로 테스트하세요. Python SDK 가이드와 모델을 바꾸기 전에 평가하기 글을 참고하세요. 이 글은 비교하는 동안 샘플링 설정을 고정해야 하는 이유를 설명합니다.
흔한 실수
top_p와 temperature를 함께 조정한 뒤, 어느 쪽이 결과를 바꿨는지 모르게 되는 것.- 한 모델의 샘플링 설정을 다른 모델에 그대로 복사하는 것. 권장 값은 모델마다 다릅니다.