BroadRouter

LLM-as-a-judge (LLM в роли судьи)

Обновлено

LLM-as-a-judge — это метод оценки, при котором языковая модель оценивает ответы других моделей: либо выставляет балл одному ответу по рубрике, либо выбирает лучший из двух. Он приближается к человеческому суждению при гораздо меньших затратах, но имеет известные перекосы, например предпочитает первый или более длинный ответ.

Также называют: LLM-судья, LLM как судья, модель-судья, ИИ-судья, оценка ответов LLM другой моделью, LLM-as-a-judge, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge заменяет человека-оценщика вызовом модели: вы передаёте ей вопрос, ответ и рубрику и получаете обратно балл.

Как это работает

Метод подробно изучили Zheng и соавторы (2023): для его проверки они построили MT-Bench (многоходовые вопросы) и Chatbot Arena (краудсорсинговые голосования «один на один»). Главный результат: GPT-4 в роли судьи совпадал и с экспертами, и с предпочтениями толпы “at over 80%” (перевод: «более чем в 80% случаев») — на уровне согласия между людьми.

Есть две распространённые схемы:

  • Оценка одного ответа. Судья выставляет одному ответу балл по шкале, например от 1 до 5, по письменным критериям. Руководство OpenAI по грейдерам называет это грейдером score_model, который возвращает “a numeric score based on the prompt within the given range.” (перевод: «числовую оценку на основе промпта в заданном диапазоне».)
  • Попарное сравнение. Судья видит два ответа на один вопрос и выбирает лучший или объявляет ничью.

Промпт судьи обычно содержит исходный вопрос, ответ, эталонный ответ, если он есть, и рубрику. Просите короткое обоснование перед баллом и ограничивайте формат балла с помощью структурированного вывода, чтобы ваш код мог его разобрать.

Почему это важно

Ручная оценка не масштабируется на тысячи случаев eval при каждом изменении промпта. Судья масштабируется, но приносит с собой перекосы, которые измерили Zheng и соавторы:

Перекос Что происходит Как смягчить
Позиционный Предпочитает первый (или второй) ответ Менять порядок и требовать совпадения
Многословность Предпочитает более длинные ответы Рубрика, поощряющая краткость; ограничения длины
Самовозвышение Предпочитает стиль своей модели Использовать в роли судьи другую модель

Кроме того, судьи плохо проверяют математику и факты, которые не могут проверить сами. Для таких случаев дайте судье эталонный ответ или используйте проверки кодом. Судья, пропускающий галлюцинации, создаёт ложную уверенность.

В BroadNet Inference

BroadNet не предлагает готового сервиса оценки: вызов судьи вы пишете сами через эндпоинт chat completions. Вызовы судьи тарифицируются как любые запросы, поэтому судья, читающий длинные ответы, добавляет входные и выходные токены на каждый случай. Оценить стоимость прогона можно в калькуляторе стоимости LLM API. Если судья — модель с рассуждениями, оставьте запас в max_tokens, потому что рассуждения в него засчитываются. Общий процесс описан в статье как оценить LLM перед переходом.

Вопросы и ответы

Насколько точен LLM-as-a-judge?

Zheng и соавторы выяснили, что GPT-4 в роли судьи совпадал с предпочтениями людей более чем в 80% случаев — примерно так же часто, как люди совпадают друг с другом. Прежде чем доверять судье, проверьте согласие на своей задаче.

Должен ли судья быть той же моделью, что и тестируемая?

Лучше нет. Zheng и соавторы сообщают о перекосе самовозвышения (self-enhancement), а руководство Anthropic называет использование другой модели для оценки лучшей практикой.

Как уменьшить позиционный перекос при попарном сравнении?

Проводите каждое сравнение дважды, меняя ответы местами, и засчитывайте победу, только если судья оба раза выбрал один и тот же ответ.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity