BroadNet описывает своё оборудование для инференса необычно подробно. Её каталог моделей перечисляет GPU, которые, по её словам, она использует, измеренную пропускную способность на карту и то, что компания узнала, запуская одни и те же модели на разных картах. Эта страница пересказывает слова BroadNet — там, где это важно, её собственными формулировками. Мы оборудование не осматривали, а измерения принадлежат самой BroadNet и сделаны в сентябре 2026 года.
Какое оборудование, по словам BroadNet, она использует?
По словам BroadNet, у неё «one fleet, three tiers, one stack» (перевод: «один парк, три уровня, один стек»): одни и те же движки, квантизации и шлюз — от ускорителей в дата-центре до устройств на площадках клиентов.
| Уровень | GPU, которые называет BroadNet | Для чего BroadNet его использует |
|---|---|---|
| Дата-центр | B300, B200, H200, H100, A100 80 GB | Флагманский инференс, квантизация и калибровка, дообучение, выделенные приватные эндпоинты, размещение с учётом локализации данных |
| Рабочие станции | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | Постоянно работающий публичный API, бенчмарки на CUDA и ROCm, разработка моделей |
| Площадка клиента | DGX Spark GB10, компактные устройства AMD | Локальные и изолированные (air-gapped) развёртывания на идентичном стеке |
Всего BroadNet сообщает о примерно 270 запущенных моделях, примерно 200 загруженных чекпойнтах, около 40 семействах моделей, 12 и более форматах квантизации и 13 семействах GPU. Компания также пишет: «a single H100 serves the entire current public catalogue with headroom» (перевод: «один H100 обслуживает весь текущий публичный каталог с запасом»).
Какие модели API на нём работают?
Не все. Заявление о конфиденциальности BroadNet говорит, что её собственные модели и размещаемые ею модели с открытыми весами работают на принадлежащем BroadNet или арендованном оборудовании в США с мощностями партнёров в качестве резерва, а модели, которые обслуживают партнёры, работают у партнёров по инференсу в США на условиях нулевого хранения данных. Её Условия обслуживания называют DeepSeek V4.1 Flash моделью, размещённой у партнёра.
Что собственные страницы BroadNet говорят по каждой модели:
| Модель в API | Оборудование, которое называет BroadNet |
|---|---|
| Gemma 4 VL 26B | GPU класса NVIDIA Blackwell с горячим резервом |
| Transcribe Arabic и Transcribe | GPU NVIDIA, которые BroadNet эксплуатирует в США |
| DeepSeek V4.1 Flash | Размещена у партнёра (Условия обслуживания, §7.3) |
| GLM 5.3, Qwen3.8 27B | Для трафика API не указано |
Если вам важно, где обрабатываются данные, спросите BroadNet до того, как их отправлять. На её странице инференса сказано, что региональная обработка в MENA или Европе доступна по запросу.
Насколько быстр каждый GPU?
BroadNet публикует суммарную пропускную способность вывода на GPU для одной модели — Qwen3-VL 30B A3B Instruct при 32 одновременных запросах:
| GPU | Уровень | Пропускная способность памяти | Суммарно токенов/с |
|---|---|---|---|
| B300 | Дата-центр | 8000 ГБ/с | 14 500 |
| B200 | Дата-центр | 8000 ГБ/с | 14 000 |
| H200 | Дата-центр | 4800 ГБ/с | 8400 |
| H100 | Дата-центр | 3350 ГБ/с | 5800 |
| A100 80 GB | Дата-центр | 2039 ГБ/с | 3500 |
| RTX PRO 6000 Blackwell | Рабочие станции | 1792 ГБ/с | 3100 |
| RTX 3090 | Рабочие станции | 936 ГБ/с | 1630 |
| DGX Spark GB10 | Рабочие станции | 273 ГБ/с | 1597 |
| Radeon AI PRO R9700 | Рабочие станции | 640 ГБ/с | 1087 |
BroadNet отмечает, что цифры для дата-центра — это «planning numbers from our measured per-GPU curve» (перевод: «плановые значения по нашей измеренной кривой на GPU»), а не прямые измерения на каждой карте. Большинство строк растут вместе с пропускной способностью памяти — обычным ограничителем при декодировании, но не все: DGX Spark GB10 (273 ГБ/с) почти догоняет RTX 3090 (936 ГБ/с), а Radeon AI PRO R9700 (640 ГБ/с) отстаёт от обеих.
Чему, по словам BroadNet, её научило оборудование?
Каталог перечисляет восемь выводов, каждый с пометкой «measured on our own hardware» (перевод: «измерено на нашем собственном оборудовании»). Самые важные для покупателей API:
- CUDA или ROCm. На одних и тех же моделях NVIDIA CUDA превращала в токены примерно вдвое больше пропускной способности памяти, чем AMD ROCm, поэтому BroadNet распределяет нагрузку с учётом этого.
- Спекулятивное декодирование под нагрузкой. EAGLE3 отнимал 69% пропускной способности при 32 одновременных запросах, поэтому BroadNet оставила драфтеры с предсказанием нескольких токенов (multi-token prediction). Её исследование инференса Uno измеряет тот же эффект для другого метода.
- Способ обслуживания важен не меньше весов. Те же веса Gemma 4 26B у хостинг-провайдера в среднем набрали на 0.13 меньше, чем на том, что BroadNet называет «our own serving» (перевод: «наш собственный инференс»). Правило BroadNet: прежде чем сравнивать претендента и базовую модель, запускайте их на одинаковом инференсе.
- Модель с меньшим числом активных параметров может выиграть. 26B mixture of experts обошла плотную Gemma 4 31B на 5 из 6 шагов конвейера, имея примерно в восемь раз меньше активных параметров.
- Паритет с передовыми моделями на одном конвейере. В слепой оценке 240 трасс Gemma 4 на инференсе BroadNet сравнялась с Claude Sonnet на пяти из шести измеренных шагов, отвечая на каждом шаге в 1,2–6,5 раза быстрее.
- Скорость на запрос. Qwen3-VL 30B A3B, по измерениям BroadNet, выдавала на инференсе, который BroadNet описывает как собственный, от 36,5 до 110 токенов в секунду на запрос против 7–19 у четырёх провайдеров OpenRouter, которые BroadNet замерила.
- Архитектура важнее выбора модели. На сложном наборе, где две локальные vision-модели расходились во мнениях, передача решения размещённому у провайдера арбитру подняла точность с 1 из 12 до 11 из 12.
Сравнение с Sonnet — самое сильное утверждение, и оно узкое: один чат-бот-конвейер одной компании, слепая оценка тремя судьями, 240 рабочих диалогов от 11 клиентов, согласно странице Gemma 4 BroadNet. Это не значит, что Gemma 4 в целом не уступает Sonnet. Полного описания этой оценки на своей исследовательской странице BroadNet не публиковала.
Как обслуживается модель Gemma 4?
Gemma 4 VL 26B от BroadNet — самый наглядный пример её подхода к инференсу, согласно странице модели:
- Веса: Gemma 4 26B A4B от Google, квантизованная BroadNet в 4-битный AWQ. BroadNet тестировала NVFP4 и отказалась от него после прямого сравнения.
- Декодирование: спекулятивное декодирование с предсказанием нескольких токенов и двумя черновыми токенами (k=2), а также KV-кэш в fp8.
- Шаблон: чат-шаблон, который BroadNet настроила под свой диалоговый сценарий.
- Отказоустойчивость: горячий резерв с автоматическим переключением.
- Результат: около 136 токенов в секунду в одном потоке и 90.86 во внутреннем наборе тестов качества BroadNet.
Термины объяснены в статьях о квантизации и спекулятивном декодировании.
Что это значит для вас?
Для пользователя с оплатой по факту выбор BroadNet в области инференса проявляется в опубликованной скорости — типично около 100 токенов в секунду на модели тарифа — и в лимитах: 30 запросов в минуту и 4 одновременных запросов на ключ. Условия BroadNet говорят, что у самообслуживания нет обязательств по доступности; уровни обслуживания появляются только с письменным соглашением. Как устроены SLA у других провайдеров.
Для более серьёзных задач BroadNet предлагает приватные эндпоинты на зарезервированных GPU — с вашей моделью, ключом, лимитами и регионом — и локальные устройства на том же стеке. Если вы сравниваете это с арендой собственных GPU, наше руководство о стоимости самостоятельного хостинга и API проводит расчёт, а статья о моделях, которые BroadNet отбраковала, показывает, как компания выбирала, что обслуживать.
