Un modello finito in un loop ripete la stessa frase finché non esaurisce i token. Le penalità sono una correzione grossolana applicata al momento del campionamento.
Come funziona
Prima di estrarre ogni token successivo, il server corregge i punteggi dei token già generati.
| Impostazione | Cosa penalizza secondo la documentazione di vLLM | Intervallo e valore predefinito |
|---|---|---|
presence_penalty |
I token “based on whether they appear in the generated text so far” (in base al fatto che compaiano nel testo generato fin lì) | OpenAI: da -2.0 a 2.0, predefinito 0 |
frequency_penalty |
I token “based on their frequency in the generated text so far” (in base alla loro frequenza nel testo generato fin lì) | OpenAI: da -2.0 a 2.0, predefinito 0 |
repetition_penalty |
I token “based on whether they appear in the prompt and the generated text so far” (in base al fatto che compaiano nel prompt e nel testo generato fin lì) | vLLM e Hugging Face: 1.0 significa nessuna penalità |
I valori positivi allontanano dai token già usati; quelli negativi rendono più probabili le ripetizioni. OpenAI dice che una frequency penalty positiva riduce “the model’s likelihood to repeat the same line verbatim” (la probabilità che il modello ripeta la stessa riga alla lettera) e che una presence penalty positiva aumenta “the model’s likelihood to talk about new topics” (la probabilità che il modello parli di argomenti nuovi). Per repetition_penalty, vLLM dice che i valori sopra 1 favoriscono token nuovi e quelli sotto 1 favoriscono la ripetizione. La documentazione di Hugging Face rimanda all’articolo su CTRL per questa penalità.
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
Perché è importante
- Loop negli output lunghi. Agenti e riassunti lunghi possono cadere in testo ripetitivo. Una piccola penalità può spezzare il loop, e un limite rigido di max_tokens contiene il danno.
- Effetti collaterali. Le penalità agiscono sui token, non sulle idee. Una penalità forte può impedire al modello di riusare parole di cui ha bisogno, come il nome di una variabile nel codice, una chiave JSON o un nome in un testo arabo che si ripete per scelta. Parti da 0 e cambia a piccoli passi.
- Sovrapposizione con il campionamento. Anche temperatura e top-p cambiano la varietà. Nei test, cambia un’impostazione alla volta.
Su BroadNet Inference
Il riferimento API di BroadNet non documenta frequency_penalty, presence_penalty né repetition_penalty. Provali prima di farci affidamento: invia un prompt che tende a ripetersi, con e senza il campo, e confronta. Se nelle esecuzioni lunghe compaiono ripetizioni, prova un prompt più chiaro, un limite di output più basso, oppure ferma l’esecuzione e riprendi da un checkpoint; l’articolo sulle esecuzioni notturne degli agenti descrive questo schema.
Errori comuni
- Alzare molto le penalità per correggere un problema del prompt. Spesso la ripetizione significa che il modello non ha un punto di arresto chiaro.
- Usare una penalità sull’output strutturato, dove le chiavi devono ripetersi.