BroadRouter

Штрафы за частоту и присутствие (frequency/presence penalty)

Обновлено

Штрафы за частоту и присутствие — это параметры сэмплирования, которые снижают оценку токенов, уже встречавшихся в выводе. Штраф за присутствие применяется, как только токен появился хотя бы раз; штраф за частоту растёт с каждым повтором. В API OpenAI оба принимают значения от -2.0 до 2.0, по умолчанию 0.

Также называют: штраф за частоту, штраф за присутствие, штраф за повторы, frequency penalty, presence penalty, frequency_penalty, presence_penalty, repetition penalty

Модель, попавшая в цикл, повторяет одну и ту же фразу, пока не закончатся токены. Штрафы — грубое средство, которое применяется на этапе сэмплирования.

Как это работает

Прежде чем выбрать каждый следующий токен, сервер корректирует оценки уже сгенерированных токенов.

Параметр Что штрафует, по документации vLLM Диапазон и значение по умолчанию
presence_penalty Токены “based on whether they appear in the generated text so far” (перевод: «в зависимости от того, встречаются ли они в уже сгенерированном тексте») OpenAI: от -2.0 до 2.0, по умолчанию 0
frequency_penalty Токены “based on their frequency in the generated text so far” (перевод: «в зависимости от их частоты в уже сгенерированном тексте») OpenAI: от -2.0 до 2.0, по умолчанию 0
repetition_penalty Токены “based on whether they appear in the prompt and the generated text so far” (перевод: «в зависимости от того, встречаются ли они в промпте и в уже сгенерированном тексте») vLLM и Hugging Face: 1.0 означает отсутствие штрафа

Положительные значения отталкивают от уже использованных токенов; отрицательные делают повторы вероятнее. По словам OpenAI, положительный штраф за частоту снижает “the model’s likelihood to repeat the same line verbatim” (перевод: «вероятность того, что модель дословно повторит ту же строку»), а положительный штраф за присутствие повышает “the model’s likelihood to talk about new topics” (перевод: «вероятность того, что модель заговорит о новых темах»). Для repetition_penalty vLLM указывает, что значения больше 1 поощряют новые токены, а меньше 1 — повторы. Документация Hugging Face ссылается для этого штрафа на статью о CTRL.

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

Почему это важно

  • Циклы в длинных ответах. Агенты и длинные пересказы могут скатиться в повторяющийся текст. Небольшой штраф может разорвать цикл, а жёсткий лимит max_tokens ограничит ущерб.
  • Побочные эффекты. Штрафы действуют на токены, а не на идеи. Сильный штраф может помешать модели повторить нужные ей слова: имя переменной в коде, ключ JSON или имя в арабском тексте, которое повторяется намеренно. Начинайте с 0 и меняйте маленькими шагами.
  • Пересечение с сэмплированием. Температура и top-p тоже меняют разнообразие. При тестировании меняйте по одному параметру.

В BroadNet Inference

Справочник API BroadNet не описывает frequency_penalty, presence_penalty и repetition_penalty. Проверьте их, прежде чем на них полагаться: отправьте промпт, склонный к повторам, с этим полем и без него и сравните. Если повторы появляются в долгих запусках, попробуйте более ясный промпт, меньший лимит вывода или остановку запуска с продолжением с контрольной точки; этот подход разобран в статье о ночных запусках агентов.

Частые ошибки

  • Ставить высокие штрафы, чтобы исправить проблему промпта. Повторы часто означают, что у модели нет ясной точки остановки.
  • Применять штраф к структурированному выводу, где ключи обязаны повторяться.

Вопросы и ответы

Чем frequency penalty отличается от presence penalty?

Штраф за присутствие спрашивает «появлялся ли этот токен?» и применяется один раз. Штраф за частоту спрашивает «как часто?» и растёт с каждым повтором. vLLM описывает их как штрафы для токенов в зависимости от того, встречаются ли они в уже сгенерированном тексте и насколько часто.

repetition_penalty — это то же самое?

Нет. Это отдельный множитель в vLLM и Hugging Face, где 1.0 означает отсутствие штрафа. vLLM применяет его к токенам и промпта, и вывода, а не только вывода.

Поддерживает ли BroadNet Inference эти штрафы?

Справочник API BroadNet не описывает frequency_penalty, presence_penalty и repetition_penalty. Проверьте их, прежде чем на них полагаться.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity