BroadRouter

Какие модели BroadNet протестировала и отбраковала и почему

Команда BroadNet Inference · 4 мин чтения · Опубликовано · Обновлено

В каталоге моделей BroadNet около 30 моделей и методов помечены как отбракованные после тестов в её лаборатории. Причины в основном делятся на пять групп: модель проиграла более сильной на той же задаче, проверка на утечку учётных данных, лицензия, запрещающая отдавать модель через API, формат квантования, проигравший в прямом сравнении, и регрессии на арабском. Все результаты — собственные измерения BroadNet за сентябрь 2026 года.

Каталог моделей BroadNet перечисляет все модели, которые, по её словам, она запускала, тестировала, квантовала или дообучала на собственном оборудовании, а отвергнутые помечает с указанием причины. Метку RULED OUT несут около 30 моделей и методов. Цифры ниже измерены в лаборатории BroadNet в сентябре 2026 года; это результаты BroadNet, а не наши.

В каталоге шесть меток: PROD (обслуживала живой трафик), SERVED (в формулировке каталога — “ran on our fleet”, перевод: «запускалась на нашем парке серверов»), BENCH (протестирована на бенчмарках), QUANT (квантование выполнила BroadNet), FT (дообучена BroadNet) и RULED OUT (отбракована).

Какие чат-модели BroadNet отбраковала?

Модель Что сделала BroadNet Почему отбракована
Qwen3.5 35B A3B (AWQ 4-bit) Обслуживалась как скоростной уровень, около 164 токенов/с Не прошла набор тестов BroadNet на утечку учётных данных для задач безопасности
GLM 4.7 Flash (AWQ) Обслуживалась в экспериментальном режиме Метка SERVED, а не RULED OUT: по словам BroadNet, модель не допущена к задачам безопасности из-за тестов на утечку учётных данных и не выведена в продакшен
Nemotron 3 Nano 30B A3B (NVFP4) Обслуживалась с собственным парсером рассуждений Метка SERVED, а не RULED OUT: по словам BroadNet, модель не допущена к задачам безопасности из-за тестов на утечку учётных данных и не выведена в продакшен
Qwen3.6 35B A3B Обслуживалась на RTX 5090 и GB10 Уступила место чат-бота Gemma 4 26B
Gemma 4 E4B (AWQ INT4) Обслуживалась на GB10 как соседняя модель, около 94 токенов/с Уступила место чат-бота Gemma 4 26B
Gemma 4 26B A4B NVFP4 (три издателя) Оценивалось квантование Выведена из работы в пользу AWQ после прямого сравнения на GPU sm_120 и sm_121
Спекулятивное декодирование EAGLE3 Тестировалось для обслуживания под полной нагрузкой Отняло 69% пропускной способности при 32 одновременных запросах; оставлены драфтеры с предсказанием нескольких токенов

Эта закономерность важна для всех, кто выбирает открытую модель. Три отказа связаны с безопасностью, а не с качеством: модели были достаточно быстрыми, но повторяли учётные данные. Именно такой сбой исследование Safety Map BroadNet чаще всего находило у моделей mixture-of-experts с небольшим числом активных параметров. Модель, которая заняла место чат-бота, Gemma 4 26B A4B, BroadNet продаёт как Gemma 4 VL 26B.

Какие модели речи отбракованы?

Модель Почему отбракована
Gemma 4 E2B, Gemma 4 12B (как транскрайберы) Вместо них оставлен аудиовариант E4B
Omnilingual ASR 300M, 1B, 3B и варианты CTC (Meta) Место заняла версия 7B
Voxtral Mini 3B / 4B Realtime (Mistral) Отбракованы для арабского
ArTSTv3 (линейка MBZUAI) Отбракована для арабского места; оставлена Cohere Transcribe Arabic
FireRedVAD, DeepFilterNet, BNR (предобработка) После прямого сравнения принято определение голосовой активности Silero

BroadNet сообщает, что оставленная модель, Cohere Transcribe Arabic 07-2026, показывает долю ошибок в словах 21.1 на диалектной речи MASC — против 22.3 у ElevenLabs Scribe v2 и 31.5 у Whisper large-v3 в её собственном тесте. Эту модель она предлагает как BroadNet Transcribe Arabic. В каталоге также сказано, что Whisper large-v3 тестировалась как запасной вариант.

Какие модели для документов, эмбеддингов и изображений проиграли?

OCR и разбор документов

  • LlamaParse, действующий API, набрал 16.6 на подмножестве OmniDocBench от BroadNet. BroadNet отбраковала его, потому что «it loses tables, and self-hosting is 98% cheaper per 1,000 pages» (перевод: «он теряет таблицы, а самостоятельный хостинг на 98% дешевле за 1000 страниц»).
  • olmOCR-2, HunyuanOCR, GOT-OCR 2.0 и Nanonets OCR2 оценены и отбракованы; Nanonets — из-за условий лицензии. В продакшене оставлена dots.mocr, потому что она и разбирает документ, и описывает рисунки, хотя PaddleOCR-VL 1.6 набрала больше (94.74 против 86.81).

Эмбеддинги

  • gemini-embedding-2 отбракована для арабского после регрессии относительно gemini-embedding-001 (0.767 против 0.824 на бенчмарке поиска BroadNet).
  • nomic-embed-text v1.5, прежнее действующее решение, набрала 0.468 в целом и 0.130 на арабском и выведена из работы.
  • Octen 8B, Harrier 0.6B и Nemotron Embed 1B обслуживались и были отбракованы на реальном арабском трафике, «where our podium held despite their public-board wins» (перевод: «где наши лидеры удержались, несмотря на их победы в публичных рейтингах»).

BroadNet приводит ещё один вывод, который оказался важнее выбора модели: инструкция для запроса, подобранная под конкретную нагрузку, сдвинула качество поиска (nDCG) на 0.048 — больше, чем переход с модели эмбеддингов на 4B на модель на 8B.

Генерация изображений и безопасность

  • Cosmos3 Super 64B и HunyuanImage 3.0 80B отбракованы из-за требований к оборудованию и условий лицензии.
  • openai/privacy-filter 1.5B поймал 100% учётных данных, но 0% сумм зарплат в корпусе утечек BroadNet, поэтому как файрвол он отбракован.

Чему учат эти отказы?

Четыре урока верны и за пределами стека BroadNet:

  1. Тестируйте задачу, а не рейтинг. Несколько моделей эмбеддингов, побеждавших в публичных рейтингах, проиграли на реальном арабском трафике.
  2. Безопасность — отдельный фильтр. Быстрая и способная модель всё равно может провалить тест на учётные данные. Проведите такой тест до того, как модель увидит секреты; методика оценки BroadNet — хорошая отправная точка.
  3. Лицензия решает, что можно отдавать через API. Некоммерческие модели, такие как Voxtral 4B TTS и Higgs Audio v3, присутствуют в каталоге лишь как планка качества.
  4. Решения по обслуживанию тоже измеряются. Форматы квантования и методы драфтинга отбраковывались по цифрам прямых сравнений, а не по умолчанию. См. статью об оборудовании GPU и подходе BroadNet к обслуживанию моделей.

Каждое число здесь получено в лаборатории и на трафике одной компании. Используйте их как короткий список того, что стоит проверить, а затем оцените модели на своих данных, прежде чем переходить. Строку с пометкой «отбракована» или «протестирована» к тому же нельзя вызвать через API; статья о том, как читать каталог моделей, объясняет, как отличить работающие, доступные по запросу и исследовательские записи.

Вопросы и ответы

Зачем BroadNet публикует модели, которые отвергла?

В каталоге сказано, что компания публикует «what we rule out as carefully as what we ship» (перевод: «то, что мы отбраковываем, так же тщательно, как то, что выпускаем»), чтобы покупатели видели логику каждой рекомендации. Отказ с указанной причиной — это довод, который можно проверить на своей нагрузке.

Значит ли «отбракована», что модель плохая?

Нет. Большинство отказов касаются одного места в собственном конвейере BroadNet, на той конфигурации и том трафике, о которых сообщает BroadNet. Qwen3.6 35B A3B и Gemma 4 E4B уступили место чат-бота Gemma 4 26B, но для вашей задачи они могут подойти.

Что такое набор тестов на утечку учётных данных?

Это проверка BroadNet того, повторяет ли модель учётные данные, которые видит; она основана на опубликованной компанией методике оценки работы с чувствительными данными. Модели, не прошедшие её, не допускаются в продакшен для задач безопасности.

Почему модели отбраковывают из-за лицензий?

Некоторые сильные модели, например Voxtral 4B TTS и Higgs Audio v3, разрешены только для некоммерческого использования, поэтому BroadNet тестирует их лишь как планку качества и не может отдавать их через платный API.

Доступны ли отбракованные модели в BroadNet Inference?

Нет. Через API продаются шесть моделей, и ещё три доступны по запросу. Модели с пометкой «отбракована» не предлагаются.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity