BroadRouter
Начать

Параметр seed (сид)

Обновлено

Параметр seed — это целое число, которое вы передаёте в запросе, чтобы API постарался выбрать те же токены при повторе того же запроса. OpenAI описывает это как best effort: детерминизм не гарантирован, а поле system_fingerprint показывает, когда изменилась конфигурация бэкенда.

Также называют: сид, сид генерации, случайное зерно, воспроизводимые ответы, детерминированный вывод, random seed, reproducible outputs, deterministic outputs, system_fingerprint

Сэмплирование случайно намеренно. Seed фиксирует эту случайность, чтобы у повторного запуска был шанс совпасть с первым.

Как это работает

Когда температура выше нуля, сервер выбирает каждый следующий токен случайно из распределения модели. Эти выборки задаёт генератор случайных чисел. Зафиксируйте его начальное значение — seed, — и тот же запрос должен пройти через те же выборки.

Справочник OpenAI помечает seed как Beta. В Cookbook сказано: “our system will make a best effort to sample deterministically” (перевод: «наша система приложит все усилия, чтобы сэмплировать детерминированно»). Чтобы получить совпадающие ответы, там советуют держать одинаковыми между запросами:

  • целое число seed,
  • промпт и сообщения,
  • temperature, top_p и max_tokens.

Ответ содержит system_fingerprint, который, по словам OpenAI, “represents the backend configuration that the model runs with” (перевод: «отражает конфигурацию бэкенда, на которой работает модель»). Если он изменился между двумя запусками, ждите разных ответов даже с тем же seed.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

У серверов открытых моделей есть та же ручка. В SamplingParams у vLLM есть seed — “Random seed to use for the generation” (перевод: «случайное зерно для генерации»), по умолчанию не задан.

Почему это важно

  • Оценки. Когда вы сравниваете промпты или модели в эвале, фиксированный seed уменьшает шум между запусками. Всё равно делайте несколько прогонов: best effort — не гарантия.
  • Отладка. Странный ответ проще воспроизвести, если запрос был с seed.
  • Кэширование. Если вы кэшируете ответы, включайте seed в ключ кэша, как в статье о кэшировании ответов.

В BroadNet Inference

Справочник API BroadNet не описывает seed и system_fingerprint. Проверьте его, прежде чем на него полагаться: отправьте один и тот же запрос с seed пять раз и сравните ответы. Если они различаются, понизьте температуру, сохраняйте нужные ответы и оценивайте модель на нескольких прогонах, а не на одном. В пошаговом разборе миграции seed значится среди полей OpenAI, которые нужно проверить или убрать.

Частые ошибки

  • Считать seed обещанием побайтово одинакового вывода.
  • Менять max_tokens или системный промпт между запусками и винить seed в разнице.

Вопросы и ответы

Даёт ли один и тот же seed всегда один и тот же ответ?

Нет. OpenAI пишет "Determinism is not guaranteed" (перевод: «детерминизм не гарантирован») и что существует "a small chance that responses differ" (перевод: «небольшая вероятность, что ответы будут различаться»), даже если параметры и system_fingerprint совпадают.

Температура 0 — это то же самое, что задать seed?

Не совсем. Низкая температура делает самый вероятный токен очень вероятным; seed фиксирует случайные выборки. Многие команды используют и то и другое, но ни одно по отдельности не гарантирует одинаковый вывод.

Поддерживает ли BroadNet Inference параметр seed?

Справочник API BroadNet не описывает seed и system_fingerprint. Отправьте один и тот же запрос с seed несколько раз и сравните ответы, прежде чем на него полагаться.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity