Le top-p décide quels tokens ont le droit d’entrer dans le tirage avant que le modèle n’en choisisse un.
Comment ça marche
Holtzman et ses coauteurs ont introduit le nucleus sampling en 2019. Ils définissent le vocabulaire top-p comme le plus petit ensemble de tokens dont la probabilité cumulée vaut au moins p. Tout token hors de cet ensemble reçoit une probabilité nulle. Les autres sont remis à l’échelle pour que leur somme fasse un, et le token suivant est tiré parmi eux. Leurs principaux résultats utilisent p = 0,95.
L’ensemble change de taille à chaque étape :
| Distribution du token suivant | Tokens conservés avec p = 0,9 |
|---|---|
| Un token à 0,95 | 1 |
| Quatre tokens à 0,3, 0,3, 0,2 et 0,15 | 4 |
| Une longue distribution plate | beaucoup |
C’est tout l’intérêt de la méthode. L’article soutient que la « less reliable tail » (traduction : « traîne moins fiable ») de la distribution produit du texte dégénéré, et que la couper donne une sortie variée sans perdre en cohérence. Un top-k fixe ne peut pas s’adapter ainsi : il garde le même nombre de tokens, que le modèle soit sûr de lui ou non.
Dans l’API d’OpenAI, top_p vaut 1 par défaut, c’est-à-dire aucune coupe. La référence donne l’exemple suivant : « 0.1 means only the tokens comprising the top 10% probability mass are considered » (traduction : « 0.1 signifie que seuls les tokens qui composent les 10 % supérieurs de la masse de probabilité sont pris en compte »). Hugging Face Transformers utilise aussi 1.0 par défaut, sauf si le generation_config.json du modèle fixe une autre valeur.
Pourquoi c’est important
- Moins de tokens étranges. Couper la traîne supprime les choix rares qui font dériver le texte, ce qui compte pour les réponses longues et pour le risque d’hallucination.
- Interaction avec la température. La température s’applique aux scores ; le top-p rogne ensuite le résultat. Régler les deux à la fois rend le comportement difficile à prévoir, c’est pourquoi OpenAI suggère de n’en modifier qu’un.
- Débogage. Si les logprobs montrent que le modèle a choisi un token peu probable, un top-p plus bas l’aurait bloqué.
Le top-p ne change pas le prix. Chaque token généré est facturé de la même façon.
Sur BroadNet Inference
La référence de l’API de BroadNet ne documente ni top_p, ni top_k, ni leurs valeurs par défaut. Ses exemples de requêtes ne définissent ni l’un ni l’autre. Un SDK OpenAI transmettra top_p, mais rien n’indique si un modèle donné l’applique : testez donc sur vos propres prompts avant de vous y fier. Consultez le guide du SDK Python et l’article sur l’évaluation d’un modèle avant de changer, qui explique pourquoi les paramètres d’échantillonnage doivent rester fixes pendant une comparaison.
Erreurs fréquentes
- Régler
top_pet la température ensemble, puis ne plus savoir lequel a changé le résultat. - Copier les paramètres d’échantillonnage d’un modèle à l’autre. Les valeurs recommandées diffèrent selon le modèle.