BroadRouter
Começar

Top-p (nucleus sampling)

Atualizado em

Top-p, também chamado de nucleus sampling, é um método de decodificação em que o modelo de linguagem escolhe o próximo token apenas entre o menor conjunto de tokens mais prováveis cuja probabilidade somada atinge um limiar p, como 0,9, descartando a cauda improvável.

Também chamado de: top-p, amostragem top-p, amostragem de núcleo, parâmetro top_p, nucleus sampling, top_p, top-p sampling

O top-p decide quais tokens podem entrar no sorteio antes de o modelo escolher um.

Como funciona

Holtzman e colegas apresentaram o nucleus sampling em 2019. Eles definem o vocabulário top-p como o menor conjunto de tokens cuja probabilidade acumulada é pelo menos p. Todo token fora desse conjunto recebe probabilidade zero. Os demais são reescalados para somar um, e o próximo token é amostrado entre eles. Os principais resultados do artigo usam p = 0,95.

O conjunto muda de tamanho a cada passo:

Distribuição do próximo token Tokens mantidos com p = 0,9
Um token com 0,95 1
Quatro tokens com 0,3; 0,3; 0,2; 0,15 4
Uma distribuição longa e achatada muitos

Essa é a ideia do método. O artigo argumenta que a “less reliable tail” (tradução: cauda menos confiável) da distribuição gera texto degenerado, e que cortá-la dá saídas variadas sem perder coerência. Um top-k fixo não consegue se adaptar assim: ele mantém a mesma quantidade quer o modelo esteja seguro, quer esteja em dúvida.

Na API da OpenAI, top_p tem padrão 1, ou seja, nenhum corte. A referência dá o exemplo de que “0.1 means only the tokens comprising the top 10% probability mass are considered” (tradução: 0,1 significa que só os tokens que formam os 10% superiores da massa de probabilidade são considerados). O Hugging Face Transformers também usa 1,0 por padrão, a menos que o generation_config.json do modelo defina outro valor.

Por que isso importa

  • Menos tokens estranhos. Cortar a cauda elimina as escolhas raras que fazem o texto desandar, o que pesa em respostas longas e no risco de alucinação.
  • Interação com a temperatura. A temperatura é aplicada às pontuações; depois o top-p apara o resultado. Ajustar os dois ao mesmo tempo deixa o comportamento difícil de prever, e é por isso que a OpenAI sugere mudar só um.
  • Depuração. Se os logprobs mostram que o modelo escolheu um token de baixa probabilidade, um top-p menor o teria bloqueado.

O top-p não muda o preço. Todo token gerado é cobrado do mesmo jeito.

Na BroadNet Inference

A referência da API da BroadNet não documenta top_p, top_k nem seus valores padrão. Os exemplos de requisição não definem nenhum dos dois. Um SDK da OpenAI vai repassar top_p, mas não está dito se cada modelo o aplica, então teste nos seus próprios prompts antes de depender dele. Veja o guia do SDK Python e o post sobre avaliar um modelo antes de trocar, que explica por que as configurações de amostragem precisam ficar fixas durante uma comparação.

Erros comuns

  • Ajustar top_p e temperatura juntos e depois não saber qual dos dois mudou o resultado.
  • Copiar configurações de amostragem de um modelo para outro. Os valores recomendados variam de modelo para modelo.

Perguntas frequentes

Qual é a diferença entre top-p e temperatura?

A temperatura remodela todas as probabilidades dos tokens. O top-p corta a cauda improvável e amostra do que sobra. A OpenAI recomenda mudar um ou outro, não os dois.

Qual é a diferença entre top-p e top-k?

O top-k mantém um número fixo de tokens, como 50. O top-p mantém quantos tokens forem necessários para atingir o limiar de probabilidade, então o conjunto é pequeno quando o modelo tem certeza e grande quando não tem.

A BroadNet documenta o top_p?

Não. A referência da API da BroadNet não lista top_p nem seu valor padrão para nenhum modelo. Defina o parâmetro na requisição e teste o efeito você mesmo.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity