Um modelo preso em loop repete a mesma frase até acabarem os tokens. As penalidades são uma correção grosseira aplicada no momento da amostragem.
Como funciona
Antes de sortear cada próximo token, o servidor ajusta as pontuações dos tokens já gerados.
| Configuração | O que penaliza, segundo a documentação do vLLM | Intervalo e padrão |
|---|---|---|
presence_penalty |
Tokens “based on whether they appear in the generated text so far” (conforme apareçam no texto gerado até ali) | OpenAI: de -2.0 a 2.0, padrão 0 |
frequency_penalty |
Tokens “based on their frequency in the generated text so far” (conforme sua frequência no texto gerado até ali) | OpenAI: de -2.0 a 2.0, padrão 0 |
repetition_penalty |
Tokens “based on whether they appear in the prompt and the generated text so far” (conforme apareçam no prompt e no texto gerado até ali) | vLLM e Hugging Face: 1.0 significa nenhuma penalidade |
Valores positivos afastam o modelo dos tokens já usados; valores negativos tornam as repetições mais prováveis. A OpenAI diz que uma frequency penalty positiva reduz “the model’s likelihood to repeat the same line verbatim” (a chance de o modelo repetir a mesma linha literalmente), e que uma presence penalty positiva aumenta “the model’s likelihood to talk about new topics” (a chance de o modelo falar de assuntos novos). Para o repetition_penalty, o vLLM diz que valores acima de 1 favorecem tokens novos e valores abaixo de 1 favorecem a repetição. A documentação do Hugging Face aponta o artigo do CTRL para essa penalidade.
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
Por que isso importa
- Loops em saídas longas. Agentes e resumos longos podem cair em texto repetitivo. Uma penalidade pequena pode quebrar o loop, e um limite rígido de max_tokens contém o estrago.
- Efeitos colaterais. As penalidades agem sobre tokens, não sobre ideias. Uma penalidade forte pode impedir o modelo de reutilizar palavras de que precisa, como o nome de uma variável no código, uma chave JSON ou um nome em um texto em árabe que se repete de propósito. Comece em 0 e mude aos poucos.
- Sobreposição com a amostragem. A temperatura e o top-p também mudam a variedade. Nos testes, mude uma configuração de cada vez.
Na BroadNet Inference
A referência da API da BroadNet não documenta frequency_penalty, presence_penalty nem repetition_penalty. Teste antes de depender deles: envie um prompt que costuma repetir, com e sem o campo, e compare. Se aparecer repetição em execuções longas, tente um prompt mais claro, um limite de saída menor, ou pare a execução e retome de um checkpoint; o post sobre execuções noturnas de agentes cobre esse padrão.
Erros comuns
- Colocar penalidades altas para resolver um problema de prompt. Repetição muitas vezes significa que o modelo não tem um ponto de parada claro.
- Usar penalidade em saída estruturada, em que as chaves precisam se repetir.