Il top-p decide quali token possono entrare nell’estrazione prima che il modello ne scelga uno.
Come funziona
Holtzman e colleghi hanno introdotto il nucleus sampling nel 2019. Definiscono il vocabolario top-p come il più piccolo insieme di token la cui probabilità cumulativa è almeno p. Ogni token fuori da quell’insieme riceve probabilità zero. Gli altri vengono riscalati in modo che sommino a uno, e il token successivo viene campionato tra loro. I loro risultati principali usano p = 0,95.
L’insieme cambia dimensione a ogni passo:
| Distribuzione del token successivo | Token tenuti con p = 0,9 |
|---|---|
| Un token a 0,95 | 1 |
| Quattro token a 0,3; 0,3; 0,2; 0,15 | 4 |
| Una distribuzione lunga e piatta | molti |
È proprio questo il senso del metodo. L’articolo sostiene che la “less reliable tail” (traduzione: coda meno affidabile) della distribuzione produce testo degenerato e che tagliarla dà output vario senza perdere coerenza. Un top-k fisso non può adattarsi così: tiene lo stesso numero di token sia quando il modello è certo sia quando è incerto.
Nell’API di OpenAI, top_p vale 1 per impostazione predefinita, cioè nessun taglio. Il riferimento fa l’esempio che “0.1 means only the tokens comprising the top 10% probability mass are considered” (traduzione: 0,1 significa che si considerano solo i token che formano il 10% superiore della massa di probabilità). Anche Hugging Face Transformers usa 1,0 come predefinito, a meno che il generation_config.json del modello non imposti un altro valore.
Perché è importante
- Meno token strani. Tagliare la coda elimina le scelte rare che fanno deragliare il testo, il che conta per le risposte lunghe e per il rischio di allucinazioni.
- Interazione con la temperatura. La temperatura si applica ai punteggi; poi il top-p rifila il risultato. Regolarli entrambi insieme rende il comportamento difficile da prevedere, ed è per questo che OpenAI suggerisce di cambiarne uno solo.
- Debug. Se i logprobs mostrano che il modello ha scelto un token a bassa probabilità, un top-p più basso lo avrebbe bloccato.
Il top-p non cambia il prezzo. Ogni token generato viene fatturato allo stesso modo.
Su BroadNet Inference
Il riferimento API di BroadNet non documenta top_p, top_k né i loro valori predefiniti. I suoi esempi di richiesta non impostano né l’uno né l’altro. Un SDK OpenAI passerà top_p, ma non è indicato se un dato modello lo applichi, quindi provalo sui tuoi prompt prima di farci affidamento. Vedi la guida all’SDK Python e l’articolo su come valutare un modello prima di cambiarlo, che spiega perché le impostazioni di campionamento vanno fissate durante un confronto.
Errori comuni
- Regolare
top_pe temperatura insieme, e poi non sapere quale dei due ha cambiato il risultato. - Copiare le impostazioni di campionamento da un modello all’altro. I valori consigliati cambiano da modello a modello.