BroadRouter
Comenzar

Parámetro seed (semilla)

Actualizado

El parámetro seed (semilla) es un entero que usted envía con la solicitud para que la API intente muestrear los mismos tokens cuando se repite la misma solicitud. OpenAI lo describe como un mejor esfuerzo: el determinismo no está garantizado, y el campo system_fingerprint muestra cuándo cambió la configuración del backend.

También llamado: semilla, semilla aleatoria, salidas reproducibles, salidas deterministas, seed, random seed, reproducible outputs, deterministic outputs, system_fingerprint

El muestreo es aleatorio a propósito. Una semilla fija esa aleatoriedad para que una nueva ejecución tenga la posibilidad de coincidir con la primera.

Cómo funciona

Cuando la temperatura es mayor que cero, el servidor sortea cada siguiente token al azar a partir de la distribución del modelo. Un generador de números aleatorios impulsa esos sorteos. Si fija su valor inicial, la semilla, la misma solicitud debería obtener los mismos sorteos.

La referencia de OpenAI marca seed como Beta. El cookbook dice que “our system will make a best effort to sample deterministically” (traducción: nuestro sistema hará su mejor esfuerzo por muestrear de forma determinista). Para obtener salidas coincidentes, indica mantener iguales entre solicitudes:

  • el entero seed,
  • el prompt y los mensajes,
  • temperature, top_p y max_tokens.

La respuesta incluye system_fingerprint, que según OpenAI “represents the backend configuration that the model runs with” (traducción: representa la configuración del backend con la que se ejecuta el modelo). Si cambia entre dos ejecuciones, espere salidas distintas incluso con la misma semilla.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

Los servidores de modelos abiertos tienen el mismo ajuste. Los SamplingParams de vLLM incluyen seed, “Random seed to use for the generation” (traducción: semilla aleatoria que se usará en la generación), sin valor predeterminado.

Por qué importa

  • Evaluaciones. Cuando compara prompts o modelos en una evaluación (eval), una semilla fija reduce el ruido entre ejecuciones. Aun así, ejecute varias muestras; el mejor esfuerzo no es una garantía.
  • Depuración. Una solicitud con semilla facilita reproducir una respuesta extraña.
  • Caché. Si guarda respuestas en caché, incluya la semilla en la clave de caché, como hace el artículo sobre caché de respuestas.

En BroadNet Inference

La referencia de la API de BroadNet no documenta seed ni system_fingerprint. Pruébelo antes de depender de él: envíe cinco veces la misma solicitud con semilla y compare las salidas. Si difieren, baje la temperatura, guarde las salidas que necesite y evalúe con varias muestras en lugar de una. El recorrido de migración con código incluye seed entre los campos de OpenAI que hay que probar o eliminar.

Errores comunes

  • Tratar una semilla como una promesa de salida idéntica byte a byte.
  • Cambiar max_tokens o el prompt de sistema entre ejecuciones y culpar a la semilla de la diferencia.

Preguntas frecuentes

¿La misma semilla da siempre la misma respuesta?

No. OpenAI dice que "Determinism is not guaranteed" (traducción: el determinismo no está garantizado) y que hay "a small chance that responses differ" (traducción: una pequeña posibilidad de que las respuestas difieran) aunque coincidan los parámetros y el system_fingerprint.

¿Temperatura 0 es lo mismo que fijar una semilla?

No exactamente. Una temperatura baja hace muy probable el token principal; una semilla fija los sorteos aleatorios. Muchos equipos usan ambas, pero ninguna por sí sola garantiza una salida idéntica.

¿BroadNet Inference admite seed?

La referencia de la API de BroadNet no documenta seed ni system_fingerprint. Envíe varias veces la misma solicitud con semilla y compare antes de depender de ella.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity