Каталог моделей BroadNet перечисляет все модели, которые, по её словам, она запускала, тестировала, квантовала или дообучала на собственном оборудовании, а отвергнутые помечает с указанием причины. Метку RULED OUT несут около 30 моделей и методов. Цифры ниже измерены в лаборатории BroadNet в сентябре 2026 года; это результаты BroadNet, а не наши.
В каталоге шесть меток: PROD (обслуживала живой трафик), SERVED (в формулировке каталога — “ran on our fleet”, перевод: «запускалась на нашем парке серверов»), BENCH (протестирована на бенчмарках), QUANT (квантование выполнила BroadNet), FT (дообучена BroadNet) и RULED OUT (отбракована).
Какие чат-модели BroadNet отбраковала?
| Модель | Что сделала BroadNet | Почему отбракована |
|---|---|---|
| Qwen3.5 35B A3B (AWQ 4-bit) | Обслуживалась как скоростной уровень, около 164 токенов/с | Не прошла набор тестов BroadNet на утечку учётных данных для задач безопасности |
| GLM 4.7 Flash (AWQ) | Обслуживалась в экспериментальном режиме | Метка SERVED, а не RULED OUT: по словам BroadNet, модель не допущена к задачам безопасности из-за тестов на утечку учётных данных и не выведена в продакшен |
| Nemotron 3 Nano 30B A3B (NVFP4) | Обслуживалась с собственным парсером рассуждений | Метка SERVED, а не RULED OUT: по словам BroadNet, модель не допущена к задачам безопасности из-за тестов на утечку учётных данных и не выведена в продакшен |
| Qwen3.6 35B A3B | Обслуживалась на RTX 5090 и GB10 | Уступила место чат-бота Gemma 4 26B |
| Gemma 4 E4B (AWQ INT4) | Обслуживалась на GB10 как соседняя модель, около 94 токенов/с | Уступила место чат-бота Gemma 4 26B |
| Gemma 4 26B A4B NVFP4 (три издателя) | Оценивалось квантование | Выведена из работы в пользу AWQ после прямого сравнения на GPU sm_120 и sm_121 |
| Спекулятивное декодирование EAGLE3 | Тестировалось для обслуживания под полной нагрузкой | Отняло 69% пропускной способности при 32 одновременных запросах; оставлены драфтеры с предсказанием нескольких токенов |
Эта закономерность важна для всех, кто выбирает открытую модель. Три отказа связаны с безопасностью, а не с качеством: модели были достаточно быстрыми, но повторяли учётные данные. Именно такой сбой исследование Safety Map BroadNet чаще всего находило у моделей mixture-of-experts с небольшим числом активных параметров. Модель, которая заняла место чат-бота, Gemma 4 26B A4B, BroadNet продаёт как Gemma 4 VL 26B.
Какие модели речи отбракованы?
| Модель | Почему отбракована |
|---|---|
| Gemma 4 E2B, Gemma 4 12B (как транскрайберы) | Вместо них оставлен аудиовариант E4B |
| Omnilingual ASR 300M, 1B, 3B и варианты CTC (Meta) | Место заняла версия 7B |
| Voxtral Mini 3B / 4B Realtime (Mistral) | Отбракованы для арабского |
| ArTSTv3 (линейка MBZUAI) | Отбракована для арабского места; оставлена Cohere Transcribe Arabic |
| FireRedVAD, DeepFilterNet, BNR (предобработка) | После прямого сравнения принято определение голосовой активности Silero |
BroadNet сообщает, что оставленная модель, Cohere Transcribe Arabic 07-2026, показывает долю ошибок в словах 21.1 на диалектной речи MASC — против 22.3 у ElevenLabs Scribe v2 и 31.5 у Whisper large-v3 в её собственном тесте. Эту модель она предлагает как BroadNet Transcribe Arabic. В каталоге также сказано, что Whisper large-v3 тестировалась как запасной вариант.
Какие модели для документов, эмбеддингов и изображений проиграли?
OCR и разбор документов
- LlamaParse, действующий API, набрал 16.6 на подмножестве OmniDocBench от BroadNet. BroadNet отбраковала его, потому что «it loses tables, and self-hosting is 98% cheaper per 1,000 pages» (перевод: «он теряет таблицы, а самостоятельный хостинг на 98% дешевле за 1000 страниц»).
- olmOCR-2, HunyuanOCR, GOT-OCR 2.0 и Nanonets OCR2 оценены и отбракованы; Nanonets — из-за условий лицензии. В продакшене оставлена dots.mocr, потому что она и разбирает документ, и описывает рисунки, хотя PaddleOCR-VL 1.6 набрала больше (94.74 против 86.81).
Эмбеддинги
- gemini-embedding-2 отбракована для арабского после регрессии относительно gemini-embedding-001 (0.767 против 0.824 на бенчмарке поиска BroadNet).
- nomic-embed-text v1.5, прежнее действующее решение, набрала 0.468 в целом и 0.130 на арабском и выведена из работы.
- Octen 8B, Harrier 0.6B и Nemotron Embed 1B обслуживались и были отбракованы на реальном арабском трафике, «where our podium held despite their public-board wins» (перевод: «где наши лидеры удержались, несмотря на их победы в публичных рейтингах»).
BroadNet приводит ещё один вывод, который оказался важнее выбора модели: инструкция для запроса, подобранная под конкретную нагрузку, сдвинула качество поиска (nDCG) на 0.048 — больше, чем переход с модели эмбеддингов на 4B на модель на 8B.
Генерация изображений и безопасность
- Cosmos3 Super 64B и HunyuanImage 3.0 80B отбракованы из-за требований к оборудованию и условий лицензии.
- openai/privacy-filter 1.5B поймал 100% учётных данных, но 0% сумм зарплат в корпусе утечек BroadNet, поэтому как файрвол он отбракован.
Чему учат эти отказы?
Четыре урока верны и за пределами стека BroadNet:
- Тестируйте задачу, а не рейтинг. Несколько моделей эмбеддингов, побеждавших в публичных рейтингах, проиграли на реальном арабском трафике.
- Безопасность — отдельный фильтр. Быстрая и способная модель всё равно может провалить тест на учётные данные. Проведите такой тест до того, как модель увидит секреты; методика оценки BroadNet — хорошая отправная точка.
- Лицензия решает, что можно отдавать через API. Некоммерческие модели, такие как Voxtral 4B TTS и Higgs Audio v3, присутствуют в каталоге лишь как планка качества.
- Решения по обслуживанию тоже измеряются. Форматы квантования и методы драфтинга отбраковывались по цифрам прямых сравнений, а не по умолчанию. См. статью об оборудовании GPU и подходе BroadNet к обслуживанию моделей.
Каждое число здесь получено в лаборатории и на трафике одной компании. Используйте их как короткий список того, что стоит проверить, а затем оцените модели на своих данных, прежде чем переходить. Строку с пометкой «отбракована» или «протестирована» к тому же нельзя вызвать через API; статья о том, как читать каталог моделей, объясняет, как отличить работающие, доступные по запросу и исследовательские записи.
