BroadRouter
Commencer

Paramètre seed (graine aléatoire)

Mis à jour

Le paramètre seed est un entier envoyé avec une requête pour que l’API essaie de tirer les mêmes tokens quand la même requête est répétée. OpenAI parle de « best effort » : le déterminisme n’est pas garanti, et le champ system_fingerprint signale quand la configuration du backend a changé.

Aussi appelé : seed, graine, graine aléatoire, sorties reproductibles, sorties déterministes, random seed, reproducible outputs, deterministic outputs, system_fingerprint

L’échantillonnage est aléatoire par conception. Un seed fige ce hasard pour qu’une nouvelle exécution ait une chance de reproduire la première.

Comment ça marche

Quand la température est supérieure à zéro, le serveur tire chaque token suivant au hasard dans la distribution du modèle. Un générateur de nombres aléatoires pilote ces tirages. Fixez sa valeur de départ, le seed, et la même requête devrait effectuer les mêmes tirages.

La référence d’OpenAI marque seed comme bêta. Le cookbook indique : « our system will make a best effort to sample deterministically » (traduction : « notre système fera de son mieux pour échantillonner de façon déterministe »). Pour obtenir des sorties identiques, il recommande de garder ces éléments inchangés d’une requête à l’autre :

  • l’entier seed,
  • le prompt et les messages,
  • temperature, top_p et max_tokens.

La réponse contient system_fingerprint, qui selon OpenAI « represents the backend configuration that the model runs with » (traduction : « représente la configuration du backend sur laquelle tourne le modèle »). S’il change entre deux exécutions, attendez-vous à des sorties différentes, même avec le même seed.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

Les serveurs de modèles ouverts offrent le même réglage. Les SamplingParams de vLLM ont un champ seed, « Random seed to use for the generation » (traduction : « graine aléatoire à utiliser pour la génération »), sans valeur par défaut.

Pourquoi c’est important

  • Évaluations. Quand vous comparez des prompts ou des modèles dans une évaluation, un seed fixe réduit le bruit entre exécutions. Faites quand même plusieurs tirages : « best effort » n’est pas une garantie.
  • Débogage. Une requête avec seed permet de reproduire plus facilement une réponse étrange.
  • Cache. Si vous mettez les réponses en cache, incluez le seed dans la clé de cache, comme le fait l’article sur la mise en cache des réponses.

Sur BroadNet Inference

La référence de l’API de BroadNet ne documente ni seed ni system_fingerprint. Testez-le avant de vous y fier : envoyez cinq fois la même requête avec seed et comparez les sorties. Si elles diffèrent, baissez la température, conservez les sorties dont vous avez besoin et évaluez sur plusieurs tirages plutôt qu’un seul. Le guide de migration pas à pas cite seed parmi les champs OpenAI à tester ou à retirer.

Erreurs fréquentes

  • Prendre un seed pour une promesse de sortie identique à l’octet près.
  • Modifier max_tokens ou le prompt système entre deux exécutions, puis accuser le seed de la différence.

Questions fréquentes

Le même seed donne-t-il toujours la même réponse ?

Non. OpenAI écrit « Determinism is not guaranteed » (traduction : « le déterminisme n’est pas garanti ») et précise qu’il existe « a small chance that responses differ » (traduction : « une faible probabilité que les réponses diffèrent ») même quand les paramètres et system_fingerprint sont identiques.

Une température de 0 revient-elle à fixer un seed ?

Pas exactement. Une température basse rend le token en tête très probable ; un seed fixe les tirages aléatoires. Beaucoup d’équipes utilisent les deux, mais aucun ne garantit à lui seul une sortie identique.

BroadNet Inference prend-il en charge seed ?

La référence de l’API de BroadNet ne documente ni seed ni system_fingerprint. Envoyez plusieurs fois la même requête avec seed et comparez avant de vous y fier.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity