Выпуск новой модели сопровождают таблицы с баллами на бенчмарках. Понимая, что бенчмарк измеряет и чего измерить не может, вы не выберете модель по неправильному числу.
Как это работает
Бенчмарк фиксирует три вещи: задачи, способ промптинга модели и правило подсчёта баллов. Два известных примера:
| Бенчмарк | Что проверяет | Объём | Подсчёт |
|---|---|---|---|
| MMLU (2020) | Знания в “57 tasks including elementary mathematics, US history, computer science, law, and more” (перевод: «57 задачах, включая элементарную математику, историю США, информатику, право и другое») | 57 предметов | Точность (accuracy) |
| SWE-bench (2023) | Исправление реальных issues на GitHub путём “editing the codebase to address the issue” (перевод: «правки кодовой базы для решения задачи») | 2 294 задачи из 12 Python-репозиториев | Доля решённых issues |
У речевых моделей свои бенчмарки: лидерборды ранжируют модели транскрибации по доле ошибок в словах (WER), где меньше — лучше.
Бенчмарки стареют. Когда MMLU опубликовали, крупнейшая модель GPT-3 превосходила случайное угадывание “by almost 20 percentage points on average” (перевод: «в среднем почти на 20 процентных пунктов»). Когда вышел SWE-bench, лучшая модель, Claude 2, решала 1,96% issues. Бенчмарк, который когда-то хорошо разделял модели, может перестать это делать по мере их развития, поэтому проверяйте, когда он создан и какие баллы типичны сегодня.
Почему это важно
- Утечка в обучающие данные (contamination). Обзор Xu и соавторов описывает утечку данных бенчмарка как ситуацию, когда модели “inadvertently incorporate evaluation benchmark information from their training data” (перевод: «непреднамеренно включают информацию из оценочного бенчмарка через обучающие данные»), что ведёт к “inaccurate or unreliable performance during the evaluation phase” (перевод: «неточным или ненадёжным результатам на этапе оценки»).
- Узкий охват. Бенчмарк по программированию на Python мало говорит о поддержке клиентов на арабском. Выбирайте бенчмарки, соответствующие вашей задаче (какой лидерборд что измеряет), а затем подтверждайте выбор с помощью eval на своих данных.
- Настройки меняют баллы. Формат промпта, few-shot примеры, бюджет рассуждений и конфигурация инференса — всё это сдвигает результаты. Сравнивайте баллы, только если они получены одинаковым способом.
- Судьи добавляют свой перекос. Бенчмарки со свободными ответами часто используют LLM-as-judge; проверяйте, какой судья и какая рубрика применялись.
Статья как оценить LLM перед переходом показывает, как собрать небольшой тестовый набор из собственного трафика.
В BroadNet Inference
BroadNet публикует некоторые собственные результаты бенчмарков; считайте их данными BroadNet. Для BroadNet Transcribe Arabic (на основе Cohere Transcribe) BroadNet сообщает о доле ошибок в словах 21,1 на диалектной речи MASC и 3,8 на FLEURS Arabic, а также о позиции № 2 из 37 (данные за сентябрь 2026 г.; в живом рейтинге на 15 ноября 2026 г. — № 4 из 39) в Open Universal Arabic ASR Leaderboard. Для Gemma 4 VL 26B BroadNet сообщает о слепой оценке тремя судьями на 240 продакшен-диалогах, в которой модель сравнялась с Claude Sonnet на 5 из 6 шагов собственного чат-бот-конвейера BroadNet. Это конвейер одной компании, а не общий бенчмарк. Прежде чем принимать решение, проведите свой eval; стартовый грант $5 покрывает Gemma 4 VL 26B и обе модели транскрибации.