O top-p decide quais tokens podem entrar no sorteio antes de o modelo escolher um.
Como funciona
Holtzman e colegas apresentaram o nucleus sampling em 2019. Eles definem o vocabulário top-p como o menor conjunto de tokens cuja probabilidade acumulada é pelo menos p. Todo token fora desse conjunto recebe probabilidade zero. Os demais são reescalados para somar um, e o próximo token é amostrado entre eles. Os principais resultados do artigo usam p = 0,95.
O conjunto muda de tamanho a cada passo:
| Distribuição do próximo token | Tokens mantidos com p = 0,9 |
|---|---|
| Um token com 0,95 | 1 |
| Quatro tokens com 0,3; 0,3; 0,2; 0,15 | 4 |
| Uma distribuição longa e achatada | muitos |
Essa é a ideia do método. O artigo argumenta que a “less reliable tail” (tradução: cauda menos confiável) da distribuição gera texto degenerado, e que cortá-la dá saídas variadas sem perder coerência. Um top-k fixo não consegue se adaptar assim: ele mantém a mesma quantidade quer o modelo esteja seguro, quer esteja em dúvida.
Na API da OpenAI, top_p tem padrão 1, ou seja, nenhum corte. A referência dá o exemplo de que “0.1 means only the tokens comprising the top 10% probability mass are considered” (tradução: 0,1 significa que só os tokens que formam os 10% superiores da massa de probabilidade são considerados). O Hugging Face Transformers também usa 1,0 por padrão, a menos que o generation_config.json do modelo defina outro valor.
Por que isso importa
- Menos tokens estranhos. Cortar a cauda elimina as escolhas raras que fazem o texto desandar, o que pesa em respostas longas e no risco de alucinação.
- Interação com a temperatura. A temperatura é aplicada às pontuações; depois o top-p apara o resultado. Ajustar os dois ao mesmo tempo deixa o comportamento difícil de prever, e é por isso que a OpenAI sugere mudar só um.
- Depuração. Se os logprobs mostram que o modelo escolheu um token de baixa probabilidade, um top-p menor o teria bloqueado.
O top-p não muda o preço. Todo token gerado é cobrado do mesmo jeito.
Na BroadNet Inference
A referência da API da BroadNet não documenta top_p, top_k nem seus valores padrão. Os exemplos de requisição não definem nenhum dos dois. Um SDK da OpenAI vai repassar top_p, mas não está dito se cada modelo o aplica, então teste nos seus próprios prompts antes de depender dele. Veja o guia do SDK Python e o post sobre avaliar um modelo antes de trocar, que explica por que as configurações de amostragem precisam ficar fixas durante uma comparação.
Erros comuns
- Ajustar
top_pe temperatura juntos e depois não saber qual dos dois mudou o resultado. - Copiar configurações de amostragem de um modelo para outro. Os valores recomendados variam de modelo para modelo.