BroadRouter

Frequency e presence penalty

Atualizado em

Frequency e presence penalty são configurações de amostragem que reduzem a pontuação de tokens que já estão na saída. A presence penalty se aplica assim que o token aparece; a frequency penalty cresce a cada repetição. Na API da OpenAI, ambas vão de -2.0 a 2.0, com padrão 0.

Também chamado de: penalidade de frequência, penalidade de presença, penalidade de repetição, frequency penalty, presence penalty, frequency_penalty, presence_penalty, repetition penalty

Um modelo preso em loop repete a mesma frase até acabarem os tokens. As penalidades são uma correção grosseira aplicada no momento da amostragem.

Como funciona

Antes de sortear cada próximo token, o servidor ajusta as pontuações dos tokens já gerados.

Configuração O que penaliza, segundo a documentação do vLLM Intervalo e padrão
presence_penalty Tokens “based on whether they appear in the generated text so far” (conforme apareçam no texto gerado até ali) OpenAI: de -2.0 a 2.0, padrão 0
frequency_penalty Tokens “based on their frequency in the generated text so far” (conforme sua frequência no texto gerado até ali) OpenAI: de -2.0 a 2.0, padrão 0
repetition_penalty Tokens “based on whether they appear in the prompt and the generated text so far” (conforme apareçam no prompt e no texto gerado até ali) vLLM e Hugging Face: 1.0 significa nenhuma penalidade

Valores positivos afastam o modelo dos tokens já usados; valores negativos tornam as repetições mais prováveis. A OpenAI diz que uma frequency penalty positiva reduz “the model’s likelihood to repeat the same line verbatim” (a chance de o modelo repetir a mesma linha literalmente), e que uma presence penalty positiva aumenta “the model’s likelihood to talk about new topics” (a chance de o modelo falar de assuntos novos). Para o repetition_penalty, o vLLM diz que valores acima de 1 favorecem tokens novos e valores abaixo de 1 favorecem a repetição. A documentação do Hugging Face aponta o artigo do CTRL para essa penalidade.

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

Por que isso importa

  • Loops em saídas longas. Agentes e resumos longos podem cair em texto repetitivo. Uma penalidade pequena pode quebrar o loop, e um limite rígido de max_tokens contém o estrago.
  • Efeitos colaterais. As penalidades agem sobre tokens, não sobre ideias. Uma penalidade forte pode impedir o modelo de reutilizar palavras de que precisa, como o nome de uma variável no código, uma chave JSON ou um nome em um texto em árabe que se repete de propósito. Comece em 0 e mude aos poucos.
  • Sobreposição com a amostragem. A temperatura e o top-p também mudam a variedade. Nos testes, mude uma configuração de cada vez.

Na BroadNet Inference

A referência da API da BroadNet não documenta frequency_penalty, presence_penalty nem repetition_penalty. Teste antes de depender deles: envie um prompt que costuma repetir, com e sem o campo, e compare. Se aparecer repetição em execuções longas, tente um prompt mais claro, um limite de saída menor, ou pare a execução e retome de um checkpoint; o post sobre execuções noturnas de agentes cobre esse padrão.

Erros comuns

  • Colocar penalidades altas para resolver um problema de prompt. Repetição muitas vezes significa que o modelo não tem um ponto de parada claro.
  • Usar penalidade em saída estruturada, em que as chaves precisam se repetir.

Perguntas frequentes

Qual é a diferença entre frequency penalty e presence penalty?

A presence penalty pergunta "esse token já apareceu?" e se aplica uma vez. A frequency penalty pergunta "quantas vezes?" e cresce a cada repetição. O vLLM as descreve como penalidades sobre tokens conforme eles aparecem e conforme sua frequência no texto gerado até ali.

O repetition_penalty é a mesma coisa?

Não. É um multiplicador separado, usado pelo vLLM e pelo Hugging Face, em que 1.0 significa nenhuma penalidade. O vLLM o aplica aos tokens do prompt e da saída, não só aos da saída.

A BroadNet Inference suporta essas penalidades?

A referência da API da BroadNet não documenta frequency_penalty, presence_penalty nem repetition_penalty. Teste antes de depender deles.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity