BroadRouter
Начать

Top-p (ядерное сэмплирование, nucleus sampling)

Обновлено

Top-p, или ядерное сэмплирование (nucleus sampling), — это метод декодирования, при котором языковая модель выбирает следующий токен только из наименьшего набора самых вероятных токенов, чья суммарная вероятность достигает порога p, например 0,9, а маловероятный «хвост» отбрасывает.

Также называют: ядерное сэмплирование, параметр top_p, top-p сэмплирование, нуклеусное сэмплирование, nucleus sampling, top_p, top-p sampling

Top-p решает, какие токены вообще попадут в розыгрыш, прежде чем модель выберет один из них.

Как это работает

Holtzman с соавторами предложили ядерное сэмплирование в 2019 году. Они определяют словарь top-p как наименьший набор токенов, чья накопленная вероятность не меньше p. Все токены вне этого набора получают нулевую вероятность. Вероятности остальных перенормируются так, чтобы в сумме давать единицу, и следующий токен выбирается из них. В основных результатах статьи используется p = 0,95.

Размер набора меняется на каждом шаге:

Распределение следующего токена Сколько токенов остаётся при p = 0,9
Один токен с вероятностью 0,95 1
Четыре токена: 0,3, 0,3, 0,2, 0,15 4
Длинное ровное распределение много

В этом и смысл метода. Авторы утверждают, что “less reliable tail” (перевод: «менее надёжный хвост») распределения порождает вырожденный текст, а если его отрезать, вывод остаётся разнообразным и не теряет связности. Фиксированный top-k так подстраиваться не умеет: он оставляет одно и то же число токенов, уверена модель или нет.

В API OpenAI top_p по умолчанию равен 1, то есть ничего не отрезается. В справочнике приведён пример: “0.1 means only the tokens comprising the top 10% probability mass are considered” (перевод: «0.1 означает, что рассматриваются только токены, составляющие верхние 10% массы вероятности»). В Hugging Face Transformers значение по умолчанию тоже 1.0, если generation_config.json модели не задаёт другое.

Почему это важно

  • Меньше странных токенов. Отрезая «хвост», вы убираете редкие варианты, из-за которых текст уводит в сторону. Это важно для длинных ответов и для риска галлюцинаций.
  • Взаимодействие с температурой. Температура применяется к оценкам, а top-p затем обрезает результат. Если настраивать оба параметра сразу, поведение трудно предсказать, поэтому OpenAI советует менять только один.
  • Отладка. Если по logprobs видно, что модель выбрала маловероятный токен, более низкий top-p его бы не пропустил.

Top-p не влияет на цену. Каждый сгенерированный токен оплачивается одинаково.

В BroadNet Inference

Справочник API BroadNet не описывает top_p, top_k и их значения по умолчанию. В примерах запросов не задан ни один из них. OpenAI SDK передаст top_p дальше, но применяет ли его конкретная модель, не сказано, поэтому проверьте на своих промптах, прежде чем на него полагаться. Смотрите руководство по Python SDK и статью о том, как оценить модель перед переходом: в ней объясняется, почему параметры сэмплирования при сравнении нужно фиксировать.

Частые ошибки

  • Настраивать top_p и температуру одновременно, а потом не понимать, что именно изменило результат.
  • Переносить параметры сэмплирования с одной модели на другую. Рекомендуемые значения у моделей разные.

Вопросы и ответы

Чем top-p отличается от температуры?

Температура меняет вероятности всех токенов. Top-p отрезает маловероятный «хвост» и выбирает из того, что осталось. OpenAI рекомендует менять что-то одно, а не оба параметра сразу.

Чем top-p отличается от top-k?

Top-k оставляет фиксированное число токенов, например 50. Top-p оставляет столько токенов, сколько нужно, чтобы набрать порог вероятности: когда модель уверена, набор маленький, когда нет — большой.

Описан ли top_p в документации BroadNet?

Нет. Справочник API BroadNet не указывает top_p и его значение по умолчанию ни для одной модели. Задайте его в запросе и проверьте эффект сами.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity