BroadRouter

Frequency e presence penalty

Aggiornato

Frequency e presence penalty sono impostazioni di campionamento che abbassano il punteggio dei token già presenti nell’output. La presence penalty si applica appena un token è comparso; la frequency penalty cresce a ogni ripetizione. Nell’API di OpenAI entrambe vanno da -2.0 a 2.0, con 0 come predefinito.

Detto anche: penalità di frequenza, penalità di presenza, penalità di ripetizione, frequency penalty, presence penalty, frequency_penalty, presence_penalty, repetition penalty

Un modello finito in un loop ripete la stessa frase finché non esaurisce i token. Le penalità sono una correzione grossolana applicata al momento del campionamento.

Come funziona

Prima di estrarre ogni token successivo, il server corregge i punteggi dei token già generati.

Impostazione Cosa penalizza secondo la documentazione di vLLM Intervallo e valore predefinito
presence_penalty I token “based on whether they appear in the generated text so far” (in base al fatto che compaiano nel testo generato fin lì) OpenAI: da -2.0 a 2.0, predefinito 0
frequency_penalty I token “based on their frequency in the generated text so far” (in base alla loro frequenza nel testo generato fin lì) OpenAI: da -2.0 a 2.0, predefinito 0
repetition_penalty I token “based on whether they appear in the prompt and the generated text so far” (in base al fatto che compaiano nel prompt e nel testo generato fin lì) vLLM e Hugging Face: 1.0 significa nessuna penalità

I valori positivi allontanano dai token già usati; quelli negativi rendono più probabili le ripetizioni. OpenAI dice che una frequency penalty positiva riduce “the model’s likelihood to repeat the same line verbatim” (la probabilità che il modello ripeta la stessa riga alla lettera) e che una presence penalty positiva aumenta “the model’s likelihood to talk about new topics” (la probabilità che il modello parli di argomenti nuovi). Per repetition_penalty, vLLM dice che i valori sopra 1 favoriscono token nuovi e quelli sotto 1 favoriscono la ripetizione. La documentazione di Hugging Face rimanda all’articolo su CTRL per questa penalità.

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

Perché è importante

  • Loop negli output lunghi. Agenti e riassunti lunghi possono cadere in testo ripetitivo. Una piccola penalità può spezzare il loop, e un limite rigido di max_tokens contiene il danno.
  • Effetti collaterali. Le penalità agiscono sui token, non sulle idee. Una penalità forte può impedire al modello di riusare parole di cui ha bisogno, come il nome di una variabile nel codice, una chiave JSON o un nome in un testo arabo che si ripete per scelta. Parti da 0 e cambia a piccoli passi.
  • Sovrapposizione con il campionamento. Anche temperatura e top-p cambiano la varietà. Nei test, cambia un’impostazione alla volta.

Su BroadNet Inference

Il riferimento API di BroadNet non documenta frequency_penalty, presence_penalty né repetition_penalty. Provali prima di farci affidamento: invia un prompt che tende a ripetersi, con e senza il campo, e confronta. Se nelle esecuzioni lunghe compaiono ripetizioni, prova un prompt più chiaro, un limite di output più basso, oppure ferma l’esecuzione e riprendi da un checkpoint; l’articolo sulle esecuzioni notturne degli agenti descrive questo schema.

Errori comuni

  • Alzare molto le penalità per correggere un problema del prompt. Spesso la ripetizione significa che il modello non ha un punto di arresto chiaro.
  • Usare una penalità sull’output strutturato, dove le chiavi devono ripetersi.

Domande frequenti

Che differenza c’è tra frequency e presence penalty?

La presence penalty si chiede "questo token è già comparso?" e si applica una volta sola. La frequency penalty si chiede "quante volte?" e cresce a ogni ripetizione. vLLM le descrive come penalità sui token in base al fatto che compaiano e alla loro frequenza nel testo generato fin lì.

repetition_penalty è la stessa cosa?

No. È un moltiplicatore separato usato da vLLM e Hugging Face, dove 1.0 significa nessuna penalità. vLLM lo applica ai token del prompt e dell’output, non solo dell’output.

BroadNet Inference supporta queste penalità?

Il riferimento API di BroadNet non documenta frequency_penalty, presence_penalty né repetition_penalty. Provali prima di farci affidamento.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity