Top-p decide qué tokens entran en el sorteo antes de que el modelo elija uno.
Cómo funciona
Holtzman y sus colegas presentaron el muestreo de núcleo en 2019. Definen el vocabulario top-p como el conjunto más pequeño de tokens cuya probabilidad acumulada es al menos p. Todo token fuera de ese conjunto pasa a tener probabilidad cero. El resto se reescala para que sume uno, y el siguiente token se muestrea de ahí. Sus resultados principales usan p = 0.95.
El tamaño del conjunto cambia en cada paso:
| Distribución del siguiente token | Tokens conservados con p = 0.9 |
|---|---|
| Un token con 0.95 | 1 |
| Cuatro tokens con 0.3, 0.3, 0.2 y 0.15 | 4 |
| Una distribución larga y plana | muchos |
Esa es la idea del método. El artículo sostiene que la “less reliable tail” (traducción: cola menos fiable) de la distribución causa texto degenerado, y que cortarla da una salida variada sin perder coherencia. Un top-k fijo no puede adaptarse así: conserva la misma cantidad tanto si el modelo está seguro como si duda.
En la API de OpenAI, top_p vale 1 por defecto, es decir, sin corte. La referencia da el ejemplo de que “0.1 means only the tokens comprising the top 10% probability mass are considered.” (traducción: 0.1 significa que solo se consideran los tokens que forman el 10 % superior de la masa de probabilidad.) Hugging Face Transformers también usa 1.0 por defecto, salvo que el generation_config.json del modelo defina otro valor.
Por qué importa
- Menos tokens extraños. Cortar la cola elimina las elecciones raras que hacen que el texto se desvíe, algo que importa en respuestas largas y para el riesgo de alucinación.
- Interacción con la temperatura. La temperatura se aplica a las puntuaciones; top-p recorta después el resultado. Ajustar ambos a la vez hace que el comportamiento sea difícil de predecir, y por eso OpenAI sugiere cambiar solo uno.
- Depuración. Si los logprobs muestran que el modelo eligió un token de baja probabilidad, un top-p más bajo lo habría bloqueado.
Top-p no cambia el precio. Cada token generado se cobra igual.
En BroadNet Inference
La referencia de la API de BroadNet no documenta top_p, top_k ni sus valores predeterminados. Sus ejemplos de solicitud no configuran ninguno. Un SDK de OpenAI enviará top_p, pero no se indica si un modelo determinado lo aplica, así que pruébelo con sus propios prompts antes de depender de él. Consulte la guía del SDK para Python y el artículo sobre cómo evaluar un modelo antes de cambiar, que explica por qué los ajustes de muestreo deben quedar fijos durante una comparación.
Errores comunes
- Ajustar
top_py la temperatura a la vez y luego no saber cuál cambió el resultado. - Copiar los ajustes de muestreo de un modelo a otro. Los valores recomendados varían según el modelo.