LLM-as-a-judge заменяет человека-оценщика вызовом модели: вы передаёте ей вопрос, ответ и рубрику и получаете обратно балл.
Как это работает
Метод подробно изучили Zheng и соавторы (2023): для его проверки они построили MT-Bench (многоходовые вопросы) и Chatbot Arena (краудсорсинговые голосования «один на один»). Главный результат: GPT-4 в роли судьи совпадал и с экспертами, и с предпочтениями толпы “at over 80%” (перевод: «более чем в 80% случаев») — на уровне согласия между людьми.
Есть две распространённые схемы:
- Оценка одного ответа. Судья выставляет одному ответу балл по шкале, например от 1 до 5, по письменным критериям. Руководство OpenAI по грейдерам называет это грейдером
score_model, который возвращает “a numeric score based on the prompt within the given range.” (перевод: «числовую оценку на основе промпта в заданном диапазоне».) - Попарное сравнение. Судья видит два ответа на один вопрос и выбирает лучший или объявляет ничью.
Промпт судьи обычно содержит исходный вопрос, ответ, эталонный ответ, если он есть, и рубрику. Просите короткое обоснование перед баллом и ограничивайте формат балла с помощью структурированного вывода, чтобы ваш код мог его разобрать.
Почему это важно
Ручная оценка не масштабируется на тысячи случаев eval при каждом изменении промпта. Судья масштабируется, но приносит с собой перекосы, которые измерили Zheng и соавторы:
| Перекос | Что происходит | Как смягчить |
|---|---|---|
| Позиционный | Предпочитает первый (или второй) ответ | Менять порядок и требовать совпадения |
| Многословность | Предпочитает более длинные ответы | Рубрика, поощряющая краткость; ограничения длины |
| Самовозвышение | Предпочитает стиль своей модели | Использовать в роли судьи другую модель |
Кроме того, судьи плохо проверяют математику и факты, которые не могут проверить сами. Для таких случаев дайте судье эталонный ответ или используйте проверки кодом. Судья, пропускающий галлюцинации, создаёт ложную уверенность.
В BroadNet Inference
BroadNet не предлагает готового сервиса оценки: вызов судьи вы пишете сами через эндпоинт chat completions. Вызовы судьи тарифицируются как любые запросы, поэтому судья, читающий длинные ответы, добавляет входные и выходные токены на каждый случай. Оценить стоимость прогона можно в калькуляторе стоимости LLM API. Если судья — модель с рассуждениями, оставьте запас в max_tokens, потому что рассуждения в него засчитываются. Общий процесс описан в статье как оценить LLM перед переходом.