---
title: "Что такое LLM-as-a-judge? Оценка ответов моделью-судьёй"
description: "LLM-as-a-judge — когда одна языковая модель оценивает ответы другой по критериям. Как это устроено, какие у судьи известные перекосы и как сделать оценки надёжными."
url: https://broadrouter.com/ru/glossary/llm-as-judge/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/llm-as-judge/) (обновлён 2026-11-14).

# LLM-as-a-judge (LLM в роли судьи)

Обновлено 2026-11-14

LLM-as-a-judge — это метод оценки, при котором языковая модель оценивает ответы других моделей: либо выставляет балл одному ответу по рубрике, либо выбирает лучший из двух. Он приближается к человеческому суждению при гораздо меньших затратах, но имеет известные перекосы, например предпочитает первый или более длинный ответ.

Также называют: LLM-судья, LLM как судья, модель-судья, ИИ-судья, оценка ответов LLM другой моделью, LLM-as-a-judge, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge заменяет человека-оценщика вызовом модели: вы передаёте ей вопрос, ответ и рубрику и получаете обратно балл.

## Как это работает

Метод подробно изучили Zheng и соавторы (2023): для его проверки они построили MT-Bench (многоходовые вопросы) и Chatbot Arena (краудсорсинговые голосования «один на один»). Главный результат: GPT-4 в роли судьи совпадал и с экспертами, и с предпочтениями толпы “at over 80%” (перевод: «более чем в 80% случаев») — на уровне согласия между людьми.

Есть две распространённые схемы:

-   **Оценка одного ответа.** Судья выставляет одному ответу балл по шкале, например от 1 до 5, по письменным критериям. Руководство OpenAI по грейдерам называет это грейдером `score_model`, который возвращает “a numeric score based on the prompt within the given range.” (перевод: «числовую оценку на основе промпта в заданном диапазоне».)
-   **Попарное сравнение.** Судья видит два ответа на один вопрос и выбирает лучший или объявляет ничью.

Промпт судьи обычно содержит исходный вопрос, ответ, эталонный ответ, если он есть, и рубрику. Просите короткое обоснование перед баллом и ограничивайте формат балла с помощью [структурированного вывода](https://broadrouter.com/ru/glossary/structured-output/), чтобы ваш код мог его разобрать.

## Почему это важно

Ручная оценка не масштабируется на тысячи случаев [eval](https://broadrouter.com/ru/glossary/eval/) при каждом изменении промпта. Судья масштабируется, но приносит с собой перекосы, которые измерили Zheng и соавторы:

| Перекос | Что происходит | Как смягчить |
| --- | --- | --- |
| Позиционный | Предпочитает первый (или второй) ответ | Менять порядок и требовать совпадения |
| Многословность | Предпочитает более длинные ответы | Рубрика, поощряющая краткость; ограничения длины |
| Самовозвышение | Предпочитает стиль своей модели | Использовать в роли судьи другую модель |

Кроме того, судьи плохо проверяют математику и факты, которые не могут проверить сами. Для таких случаев дайте судье эталонный ответ или используйте проверки кодом. Судья, пропускающий [галлюцинации](https://broadrouter.com/ru/glossary/hallucination/), создаёт ложную уверенность.

## В BroadNet Inference

BroadNet не предлагает готового сервиса оценки: вызов судьи вы пишете сами через эндпоинт chat completions. Вызовы судьи тарифицируются как любые запросы, поэтому судья, читающий длинные ответы, добавляет [входные и выходные токены](https://broadrouter.com/ru/glossary/input-and-output-tokens/) на каждый случай. Оценить стоимость прогона можно в [калькуляторе стоимости LLM API](https://broadrouter.com/tools/llm-api-cost-calculator/). Если судья — модель с рассуждениями, оставьте запас в `max_tokens`, потому что рассуждения в него засчитываются. Общий процесс описан в статье [как оценить LLM перед переходом](https://broadrouter.com/ru/blog/evaluate-llm-before-switching/).

## Вопросы и ответы

### Насколько точен LLM-as-a-judge?

Zheng и соавторы выяснили, что GPT-4 в роли судьи совпадал с предпочтениями людей более чем в 80% случаев — примерно так же часто, как люди совпадают друг с другом. Прежде чем доверять судье, проверьте согласие на своей задаче.

### Должен ли судья быть той же моделью, что и тестируемая?

Лучше нет. Zheng и соавторы сообщают о перекосе самовозвышения (self-enhancement), а руководство Anthropic называет использование другой модели для оценки лучшей практикой.

### Как уменьшить позиционный перекос при попарном сравнении?

Проводите каждое сравнение дважды, меняя ответы местами, и засчитывайте победу, только если судья оба раза выбрал один и тот же ответ.

## См. также

-   [Eval (оценка LLM)](https://broadrouter.com/ru/glossary/eval/) (термин)
-   [Галлюцинация (hallucination)](https://broadrouter.com/ru/glossary/hallucination/) (термин)
-   [Структурированный вывод (structured output)](https://broadrouter.com/ru/glossary/structured-output/) (термин)
-   [Температура (temperature)](https://broadrouter.com/ru/glossary/temperature/) (термин)
-   [Входные и выходные токены (input and output tokens)](https://broadrouter.com/ru/glossary/input-and-output-tokens/) (термин)
-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/) (руководство)
-   [Как оценить LLM перед сменой провайдера](https://broadrouter.com/ru/blog/evaluate-llm-before-switching/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-llm-as-judge&utm_content=page-cta) ·

**Источники**

-   [Zheng и др., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)](https://arxiv.org/abs/2306.05685)
-   [Anthropic, как построить сильные эмпирические оценки (оценка с помощью LLM)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI, руководство по грейдерам (грейдер score\_model)](https://developers.openai.com/api/docs/guides/graders)
