BroadRouter

Frequency penalty et presence penalty

Mis à jour

La frequency penalty et la presence penalty sont des réglages d’échantillonnage qui abaissent le score des tokens déjà présents dans la sortie. La presence penalty s’applique une fois dès qu’un token est apparu ; la frequency penalty augmente à chaque répétition. Dans l’API d’OpenAI, les deux vont de -2.0 à 2.0, avec 0 par défaut.

Aussi appelé : pénalité de fréquence, pénalité de présence, pénalité de répétition, frequency penalty, presence penalty, frequency_penalty, presence_penalty, repetition penalty

Un modèle pris dans une boucle répète la même phrase jusqu’à épuiser ses tokens. Les pénalités sont un remède grossier, appliqué au moment de l’échantillonnage.

Comment ça marche

Avant le tirage de chaque nouveau token, le serveur ajuste le score des tokens déjà générés.

Réglage Ce qu’il pénalise selon la documentation de vLLM Plage et valeur par défaut
presence_penalty Les tokens « based on whether they appear in the generated text so far » (traduction : « selon qu’ils apparaissent ou non dans le texte généré jusqu’ici ») OpenAI : -2.0 à 2.0, 0 par défaut
frequency_penalty Les tokens « based on their frequency in the generated text so far » (traduction : « selon leur fréquence dans le texte généré jusqu’ici ») OpenAI : -2.0 à 2.0, 0 par défaut
repetition_penalty Les tokens « based on whether they appear in the prompt and the generated text so far » (traduction : « selon qu’ils apparaissent dans le prompt et dans le texte généré jusqu’ici ») vLLM et Hugging Face : 1.0 signifie aucune pénalité

Les valeurs positives éloignent des tokens déjà utilisés ; les valeurs négatives rendent les répétitions plus probables. Selon OpenAI, une frequency penalty positive réduit « the model’s likelihood to repeat the same line verbatim » (traduction : « la probabilité que le modèle répète mot pour mot la même ligne »), et une presence penalty positive augmente « the model’s likelihood to talk about new topics » (traduction : « la probabilité que le modèle aborde de nouveaux sujets »). Pour repetition_penalty, vLLM indique que les valeurs supérieures à 1 favorisent les nouveaux tokens et que les valeurs inférieures à 1 favorisent la répétition. La documentation de Hugging Face renvoie à l’article sur CTRL pour cette pénalité.

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

Pourquoi c’est important

  • Boucles dans les sorties longues. Les agents et les longs résumés peuvent tomber dans du texte répétitif. Une petite pénalité peut casser la boucle, et une limite stricte via max_tokens borne les dégâts.
  • Effets secondaires. Les pénalités agissent sur les tokens, pas sur les idées. Une pénalité forte peut empêcher le modèle de réutiliser des mots dont il a besoin, comme un nom de variable dans du code, une clé JSON ou un nom qui revient volontairement dans un texte arabe. Partez de 0 et avancez par petits pas.
  • Recoupement avec l’échantillonnage. La température et le top-p modifient aussi la variété. Ne changez qu’un réglage à la fois pendant vos tests.

Sur BroadNet Inference

La référence de l’API de BroadNet ne documente ni frequency_penalty, ni presence_penalty, ni repetition_penalty. Testez-les avant de vous y fier : envoyez un prompt qui a tendance à se répéter, avec et sans le champ, puis comparez. Si des répétitions apparaissent sur de longues exécutions, essayez un prompt plus clair, une limite de sortie plus basse, ou arrêtez l’exécution et reprenez depuis un point de sauvegarde ; l’article sur les agents qui tournent la nuit décrit ce schéma.

Erreurs fréquentes

  • Mettre des pénalités élevées pour corriger un problème de prompt. Les répétitions signifient souvent que le modèle n’a pas de point d’arrêt clair.
  • Appliquer une pénalité à une sortie structurée, où les clés doivent se répéter.

Questions fréquentes

Quelle est la différence entre frequency penalty et presence penalty ?

La presence penalty demande « ce token est-il déjà apparu ? » et s’applique une fois. La frequency penalty demande « combien de fois ? » et augmente à chaque répétition. vLLM les décrit comme pénalisant les tokens selon qu’ils apparaissent dans le texte déjà produit et selon leur fréquence dans ce texte.

repetition_penalty, est-ce la même chose ?

Non. C’est un multiplicateur distinct utilisé par vLLM et Hugging Face, où 1.0 signifie aucune pénalité. vLLM l’applique aux tokens du prompt et de la sortie, pas seulement de la sortie.

BroadNet Inference prend-il en charge ces pénalités ?

La référence de l’API de BroadNet ne documente ni frequency_penalty, ni presence_penalty, ni repetition_penalty. Testez-les avant de vous y fier.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity