---
title: "Оценка LLM перед переходом: eval-набор и LLM-судья | BroadRouter"
description: "Соберите небольшой eval-набор из реального трафика, оцените его проверками в коде и LLM-судьёй без перекосов и сравните качество, цену и задержку до миграции."
url: https://broadrouter.com/ru/blog/evaluate-llm-before-switching/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/evaluate-llm-before-switching/) (обновлён 2026-11-14).

# Как оценить LLM перед сменой провайдера

Команда BroadNet Inference · 5 мин чтения · Опубликовано 2026-11-14

Соберите от 50 до 200 реальных промптов с заранее известным хорошим результатом. Оценивайте обе модели сначала проверками в коде, а LLM-судьёй — только там, где код не может решить. Меняйте порядок ответов, чтобы убрать позиционный перекос, берите судью из третьего семейства моделей, сверяйте его со своей разметкой и зафиксируйте правило прохождения, включая цену и задержку, до запуска.

## Главное

-   Собирайте eval-набор из реальных логов, а не из придуманных промптов, и включайте сложные и проблемные случаи.
-   Предпочитайте детерминированные проверки (JSON разбирается, поле совпадает, тест проходит). LLM-судью используйте только для качеств, которые код проверить не может.
-   У LLM-судей есть перекосы: позиционный, в пользу многословности и в пользу своих ответов. Оценивайте каждую пару дважды, меняя порядок.
-   При 100 случаях результат 80% имеет погрешность около ±8 пунктов при 95% доверии. Небольшие различия — это шум.
-   Решите правило прохождения заранее, включая цену, задержку и отсутствие регрессий на критичных случаях.

**На этой странице**

1.  Как собрать eval-набор из реального трафика?
2.  Какие проверки делать в коде, а какие поручать судье?
3.  Что идёт не так с LLM в роли судьи?
4.  Как провести сравнение бок о бок?
5.  Какая разница действительно значима?
6.  Каким должно быть правило принятия решения?
7.  Место BroadNet Inference

Чтобы оценить LLM перед сменой провайдера, прогоните обе модели на 50–200 реальных промптах с заранее известным хорошим результатом. Оценивайте сначала проверками в коде, а LLM-судьёй без перекосов — только там, где код не может решить; логируйте цену и задержку и зафиксируйте правило прохождения заранее.

Само изменение кода невелико: с [OpenAI-совместимым API](https://broadrouter.com/ru/glossary/openai-compatible-api/) это [базовый URL](https://broadrouter.com/ru/glossary/base-url/) и ID модели. Эту часть описывает [чек-лист миграции](https://broadrouter.com/ru/blog/openai-compatible-api-migration-checklist/), а цены, лимиты и приватность — [чек-лист выбора провайдера](https://broadrouter.com/ru/blog/choose-llm-api-provider-checklist/). Сложно другое — понять, так ли хороша новая модель **для ваших задач**. Публичные рейтинги на это не отвечают; [Artificial Analysis и его альтернативы](https://broadrouter.com/ru/blog/artificial-analysis-alternatives/) нужны, чтобы составить шорт-лист. Отвечает небольшой [eval](https://broadrouter.com/ru/glossary/eval/)\-набор из вашего собственного трафика — это день-два работы.

## Как собрать eval-набор из реального трафика?

1.  **Выгрузите от 300 до 1 000 недавних запросов** из [логов использования](https://broadrouter.com/ru/blog/llm-api-usage-logging/), предварительно удалив чувствительные данные.
2.  **Сгруппируйте по типу задачи**: извлечение, классификация, суммаризация, ответ в чате, правка кода, вызов инструмента.
3.  **Отберите по 10–40 на тип**, больше — для частых или рискованных типов. Включите длинные промпты, входные данные не на английском и случаи, на которые жаловались пользователи.
4.  **Запишите ожидаемый результат** для каждого: точное значение, схему, тест, который должен пройти, или короткую рубрику («упоминает срок возврата; не выдумывает правил»).
5.  **Пометьте критичные случаи.** Неверная сумма в счёте или утёкшая инструкция — не то же самое, что чуть худший тон.
6.  **Заморозьте набор** в системе контроля версий. Добавляйте случаи, когда находите новые ошибки, и никогда не удаляйте их, чтобы модель выглядела лучше.

## Какие проверки делать в коде, а какие поручать судье?

Для каждого случая используйте самую дешёвую надёжную проверку:

| Задача | Проверка | Нужен судья? |
| --- | --- | --- |
| Извлечение в JSON | Разбирается, проходит валидацию схемы, поля совпадают с ожидаемыми | Нет |
| Классификация | Метка совпадает с ожидаемой | Нет |
| Правка кода | Тесты проходят | Нет |
| Вызов инструмента | Нужная функция, аргументы проходят валидацию | Нет |
| Краткое изложение | Содержит обязательные факты; нет фактов, которых нет в источнике | Иногда |
| Ответ в чате, тон, полезность | Рубрика | Да |

Детерминированные проверки бесплатны, воспроизводимы, и им невозможно польстить, поэтому переводите в проверки кодом столько случаев, сколько сможете.

## Что идёт не так с LLM в роли судьи?

[LLM-судья](https://broadrouter.com/ru/glossary/llm-as-judge/) — это модель, которая оценивает ответы других моделей по рубрике. Исследование MT-Bench (Zheng et al.) показало, что сильные судьи совпадали с предпочтениями людей более чем в 80% случаев — примерно так же часто, как люди совпадают друг с другом. В той же статье названы перекосы, которые нужно учитывать при проектировании:

| Перекос | Что происходит | Как смягчить |
| --- | --- | --- |
| Позиционный | Предпочитает первый (или второй) показанный ответ | Оценивайте каждую пару дважды, меняя порядок; засчитывайте победу, только если оба порядка согласны |
| Многословность | Предпочитает более длинные ответы | Рубрика, которая вознаграждает правильность и краткость; ограничение длины в промпте |
| Предпочтение своего | Предпочитает ответы в своём стиле | Судья из другого семейства моделей, чем оба кандидата |
| Слабые рассуждения | Пропускает ошибки в математике или коде | Для таких случаев используйте проверки в коде |

Ещё два правила из практики. **Зафиксируйте судью**: та же версия модели, тот же промпт, temperature 0 на всё сравнение. И **откалибруйте его**: разметьте 30–50 пар сами, прогоните на них судью и доверяйте ему, только если он в большинстве случаев с вами согласен. Руководство Arize по эвалюаторам советует то же (“Collect 20–100 examples”; перевод: «Соберите 20–100 примеров») с разметкой людьми и рекомендует категориальные метки вроде pass/fail вместо больших числовых шкал.

## Как провести сравнение бок о бок?

Прогоните обоих кандидатов на каждом случае, скройте от судьи, какой ответ чей, меняйте порядок и логируйте цену и время:

```python
import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}
```

Правило с перестановкой означает, что модель побеждает, только когда судья предпочитает её в обеих позициях; любое расхождение считается ничьей. Доля расхождений и сама по себе полезна: если она высокая, судья или рубрика слишком расплывчаты. Обратите внимание на `max_tokens=4000`: у моделей с рассуждениями размышления входят в лимит, и при низком потолке получаются пустые ответы, похожие на ошибки. См. [почему модели с рассуждениями возвращают пустые ответы](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/).

## Какая разница действительно значима?

Результаты eval — это выборка. Для доли прохождения p на n случаях стандартная ошибка равна √(p × (1 − p) ÷ n), а погрешность при 95% доверии — примерно вдвое больше.

| Случаев | Доля прохождения | Погрешность (95%) |
| --- | --- | --- |
| 50 | 80% | около ±11 пунктов |
| 100 | 80% | около ±8 пунктов |
| 200 | 80% | около ±6 пунктов |
| 400 | 80% | около ±4 пунктов |

Значит, модель с результатом 82% против 79% на 100 случаях не доказала своего превосходства. Смотрите лучше на **различия по отдельным случаям**: какие случаи перешли из «прошёл» в «не прошёл»? Они говорят больше, чем итоговые цифры, а на критичных случаях одно такое изменение может решить вопрос о переходе.

## Каким должно быть правило принятия решения?

Запишите его до запуска eval, чтобы результат не мог его подогнуть. Практичный шаблон:

1.  Ни одной регрессии на случаях, помеченных как критичные.
2.  Общая доля прохождения не ниже, чем у текущей модели, больше чем на погрешность.
3.  Задержка p95 в пределах вашего бюджета; как её измерять, см. в статье [TTFT и пропускная способность](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/).
4.  Стоимость успешного случая ниже или выше лишь на сумму, о которой вы договорились, что она стоит прироста качества. Посчитайте месячную разницу в [калькуляторе стоимости LLM API](https://broadrouter.com/tools/llm-api-cost-calculator/).
5.  Теневой период: отправляйте долю живого трафика на новую модель, логируйте обе и сравнивайте, прежде чем переключаться.

Тот же eval-набор — отправная точка, если вы думаете о собственной модели: в статье [перед дообучением](https://broadrouter.com/ru/blog/fine-tuning-readiness/) разобрано, когда достаточно промптов и поиска.

## Место BroadNet Inference

BroadNet Inference обслуживает несколько семейств моделей за одним OpenAI-совместимым эндпоинтом, в том числе [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/), [GLM 5.3](https://broadrouter.com/ru/models/glm-5.3/) и [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/), поэтому кандидаты и судья из другого семейства могут работать через один клиент и ключ. Каждый ответ содержит расход токенов для сравнения стоимости, а новые аккаунты получают стартовый грант $5; без пополнения баланса этот грант работает только для [Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/), поэтому для сравнения более крупных моделей запланируйте небольшое пополнение. Обвязки для оценки или готовых инструментов для судьи нет; код выше вы запускаете сами. Для задач на арабском языке список того, что тестировать, есть в статье [Как выбрать LLM для арабского](https://broadrouter.com/ru/blog/choosing-an-llm-for-arabic/). Цены рядом — на [странице сравнения](https://broadrouter.com/compare/).

Бесплатные инструменты по теме (на английском)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Eval (оценка LLM)](https://broadrouter.com/ru/glossary/eval/)

Eval (сокращение от evaluation, «оценка») — это воспроизводимый тест языковой модели или промпта: фиксированный набор входов, описание того, как выглядит хороший ответ, и оценщик (код, человек или другая модель), который выставляет оценку каждому ответу, чтобы версии можно было сравнивать.

[Температура (temperature)](https://broadrouter.com/ru/glossary/temperature/)

Температура — это параметр сэмплирования, который определяет, насколько случайным будет ответ языковой модели. Модель делит оценки токенов на температуру, прежде чем превратить их в вероятности: при низких значениях доминирует самый вероятный токен, при высоких распределение выравнивается и менее вероятные токены выбираются чаще.

[Время до первого токена (TTFT)](https://broadrouter.com/ru/glossary/time-to-first-token/)

Время до первого токена (TTFT) — это время от отправки запроса языковой модели до прихода первого выходного токена. Оно включает сетевое время, очередь на сервере и prefill — этап, на котором модель читает весь промпт, поэтому растёт с длиной промпта и нагрузкой.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[LLM-as-a-judge (LLM в роли судьи)](https://broadrouter.com/ru/glossary/llm-as-judge/)

LLM-as-a-judge — это метод оценки, при котором языковая модель оценивает ответы других моделей: либо выставляет балл одному ответу по рубрике, либо выбирает лучший из двух. Он приближается к человеческому суждению при гораздо меньших затратах, но имеет известные перекосы, например предпочитает первый или более длинный ответ.

## Вопросы и ответы

### Сколько примеров нужно в eval-наборе для LLM?

Пятидесяти хватит, чтобы поймать крупные регрессии; 200 — чтобы увидеть различия порядка 5–10 пунктов. Охват важнее размера, поэтому включите все типы задач и известные вам проблемные случаи.

### Насколько надёжен LLM в роли судьи?

Отчасти. В исследовании MT-Bench сильные судьи совпадали с предпочтениями людей более чем в 80% случаев — примерно так же часто, как люди совпадали друг с другом. Но у них же обнаружились позиционный перекос, перекос в пользу многословности и в пользу своих ответов, поэтому устраняйте перекосы и выборочно проверяйте судью.

### Должна ли модель-судья совпадать с тестируемой моделью?

Нет. Судьи склонны предпочитать ответы, похожие на их собственные. Берите судью из другого семейства моделей и фиксируйте одну его версию на всё сравнение.

### Что такое позиционный перекос при оценке LLM?

Судья предпочитает ответ, показанный первым (или вторым), независимо от качества. Лечится это так: каждую пару оценивают дважды, меняя порядок, и засчитывают победу только когда оба порядка согласны.

### Нужно ли сравнивать цену и задержку в том же eval?

Да. Логируйте токены и время для каждого вызова в eval. Модель, которая набирает на два пункта больше при втрое большей цене или задержке, всё равно может оказаться неудачной заменой.

## Читайте также

-   [Как выбрать провайдера LLM API: чек-лист из 20 пунктов](https://broadrouter.com/ru/blog/choose-llm-api-provider-checklist/)
-   [Переход на OpenAI-совместимый API: чек-лист миграции](https://broadrouter.com/ru/blog/openai-compatible-api-migration-checklist/)
-   [Как выбрать LLM API для арабского: что проверить](https://broadrouter.com/ru/blog/choosing-an-llm-for-arabic/)
-   [Логирование LLM API: стоимость по пользователям и функциям без ПДн](https://broadrouter.com/ru/blog/llm-api-usage-logging/)
-   [Задержка LLM: TTFT, токены в секунду и полное время ответа](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/)
-   [Перед дообучением LLM: сформулируйте, какую проблему решаете](https://broadrouter.com/ru/blog/fine-tuning-readiness/)
-   [GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/)
-   [Кэширование ответов LLM API: кэш точных совпадений на Python](https://broadrouter.com/ru/blog/cache-llm-responses-cut-cost/)
-   [Руководство: OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)
-   [Руководство: Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-evaluate-llm-before-switching&utm_content=page-cta) ·

**Источники**

-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv 2306.05685 (загружено 2026-11-14)](https://arxiv.org/abs/2306.05685)
-   [Документация Arize: рекомендации по эвалюаторам (загружено 2026-11-14)](https://arize.com/docs/ax/concepts/evaluators/evaluator-best-practices)
-   [Справочник API BroadNet Inference (загружено 2026-11-14) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-evaluate-llm-before-switching&utm_content=sources)
-   [Машиночитаемые цены BroadNet Inference, pricing.json (загружено 2026-11-14) (на английском)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-evaluate-llm-before-switching&utm_content=sources)
