BroadNet describe su hardware de inferencia con un detalle poco habitual. Su catálogo de modelos enumera las GPU que dice utilizar, el rendimiento medido por tarjeta y lo que aprendió al ejecutar los mismos modelos en todas ellas. Esta página resume lo que dice BroadNet, con sus propias palabras cuando importa. No hemos inspeccionado el hardware, y las mediciones son de BroadNet, de septiembre de 2026.
¿Qué hardware dice utilizar BroadNet?
BroadNet afirma que opera “one fleet, three tiers, one stack” (Traducción: una flota, tres niveles, un stack): los mismos motores, cuantizaciones y gateway desde los aceleradores de centro de datos hasta los equipos en instalaciones de clientes.
| Nivel | GPU que enumera BroadNet | Para qué lo usa BroadNet |
|---|---|---|
| Centro de datos | B300, B200, H200, H100, A100 80 GB | Serving de modelos insignia, cuantización y calibración, fine-tuning, endpoints privados dedicados, ubicaciones con residencia de datos |
| Estación de trabajo | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | La API pública siempre activa, benchmarking con CUDA y ROCm, desarrollo de modelos |
| Instalaciones del cliente | DGX Spark GB10, equipos AMD compactos | Despliegues on-premise y aislados de la red con el mismo stack |
En total, BroadNet reporta unos 270 modelos ejecutados, unos 200 checkpoints cargados, unas 40 familias de modelos, 12 o más formatos de cuantización y 13 familias de GPU. También afirma que “a single H100 serves the entire current public catalogue with headroom” (Traducción: una sola H100 sirve todo el catálogo público actual con margen).
¿Qué modelos de la API funcionan en él?
No todos. La declaración de privacidad de BroadNet indica que sus propios modelos y los modelos de pesos abiertos que aloja funcionan en hardware propio o arrendado por BroadNet en Estados Unidos, con capacidad de socios como respaldo, y que los modelos servidos por socios funcionan bajo condiciones de cero retención de datos con socios de inferencia en EE. UU. Sus Términos del Servicio nombran a DeepSeek V4.1 Flash como alojado por un socio.
Lo que dicen las propias páginas de BroadNet por modelo:
| Modelo en la API | Hardware que nombra BroadNet |
|---|---|
| Gemma 4 VL 26B | GPU NVIDIA de clase Blackwell con un respaldo en caliente |
| Transcribe Arabic y Transcribe | GPU NVIDIA operadas por BroadNet en Estados Unidos |
| DeepSeek V4.1 Flash | Alojado por un socio (Términos del Servicio §7.3) |
| GLM 5.3, Qwen3.8 27B | No se indica para el tráfico de la API |
Si le importa dónde se procesan sus datos, pregunte a BroadNet antes de enviarlos. Su página de inferencia indica que el procesamiento regional en MENA o Europa está disponible a petición.
¿Qué velocidad tiene cada GPU?
BroadNet publica el rendimiento agregado de salida por GPU para un modelo, Qwen3-VL 30B A3B Instruct con 32 solicitudes concurrentes:
| GPU | Nivel | Ancho de banda de memoria | Tokens/s agregados |
|---|---|---|---|
| B300 | Centro de datos | 8,000 GB/s | 14,500 |
| B200 | Centro de datos | 8,000 GB/s | 14,000 |
| H200 | Centro de datos | 4,800 GB/s | 8,400 |
| H100 | Centro de datos | 3,350 GB/s | 5,800 |
| A100 80 GB | Centro de datos | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | Estación de trabajo | 1,792 GB/s | 3,100 |
| RTX 3090 | Estación de trabajo | 936 GB/s | 1,630 |
| DGX Spark GB10 | Estación de trabajo | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | Estación de trabajo | 640 GB/s | 1,087 |
BroadNet aclara que las cifras de centro de datos son “planning numbers from our measured per-GPU curve” (Traducción: cifras de planificación a partir de nuestra curva medida por GPU), no mediciones directas en cada tarjeta. La mayoría de las filas suben con el ancho de banda de memoria, el límite habitual de la decodificación, pero no todas: DGX Spark GB10 (273 GB/s) casi iguala a la RTX 3090 (936 GB/s), y la Radeon AI PRO R9700 (640 GB/s) queda por detrás de ambas.
¿Qué dice BroadNet que le enseñó su hardware?
El catálogo enumera ocho hallazgos, cada uno marcado como “measured on our own hardware” (Traducción: medido en nuestro propio hardware). Los más relevantes para quien compra una API:
- CUDA frente a ROCm. Al ejecutar los mismos modelos en NVIDIA CUDA y AMD ROCm, CUDA convirtió en tokens aproximadamente el doble de ancho de banda de memoria, así que BroadNet distribuye las cargas de trabajo en consecuencia.
- Decodificación especulativa bajo carga. EAGLE3 costó el 69 % del rendimiento con 32 solicitudes concurrentes, así que BroadNet se quedó con los drafters de predicción de varios tokens. Su estudio de serving de Uno mide el mismo efecto para otro método.
- El serving importa tanto como los pesos. Los mismos pesos de Gemma 4 26B servidos por un proveedor alojado puntuaron de media 0.13 menos que en lo que BroadNet llama “our own serving” (Traducción: nuestro propio serving). La regla de BroadNet: mantener a un modelo candidato y a su referencia en el mismo serving antes de compararlos.
- Un modelo con menos parámetros activos puede ganar. El mixture of experts de 26B superó al Gemma 4 31B denso en 5 de 6 pasos del pipeline con aproximadamente una octava parte de los parámetros activos.
- Paridad con la frontera en un pipeline. En una evaluación a ciegas de 240 trazas, el Gemma 4 servido por BroadNet igualó a Claude Sonnet en cinco de seis pasos medidos, con respuestas entre 1.2 y 6.5 veces más rápidas por paso.
- Velocidad por solicitud. Qwen3-VL 30B A3B funcionó a entre 36.5 y 110 tokens por segundo por solicitud en lo que BroadNet describe como su propio serving, según la medición de BroadNet, frente a entre 7 y 19 en cuatro proveedores de OpenRouter que BroadNet midió.
- La arquitectura supera a la elección del modelo. En un conjunto difícil en el que dos modelos de visión locales discrepaban, escalar a un árbitro alojado subió la precisión de 1 de 12 a 11 de 12.
La comparación con Sonnet es la afirmación más fuerte, y es acotada: el pipeline de chatbot de una empresa, juzgado a ciegas por tres jueces, sobre 240 conversaciones de producción de 11 clientes, según la página de Gemma 4 de BroadNet. No significa que Gemma 4 iguale a Sonnet en general. BroadNet no ha publicado un informe completo de esa evaluación en su página de investigación.
¿Cómo se sirve el modelo Gemma 4?
El Gemma 4 VL 26B de BroadNet es el ejemplo más claro de sus decisiones de serving, según su página del modelo:
- Pesos: Gemma 4 26B A4B de Google, cuantizado por BroadNet a AWQ de 4 bits. BroadNet probó NVFP4 y lo descartó tras una comparación directa.
- Decodificación: decodificación especulativa con predicción de varios tokens y dos tokens borrador (k=2), y una caché KV en fp8.
- Plantilla: una plantilla de chat que BroadNet ajustó para su flujo conversacional.
- Resiliencia: un respaldo en caliente con conmutación automática por error.
- Resultado: unos 136 tokens por segundo en un único stream, y 90.86 en la batería interna de calidad de BroadNet.
Consulte cuantización y decodificación especulativa para los términos.
¿Qué significa esto para usted?
Para un usuario de pago por uso, las decisiones de serving de BroadNet se notan en la velocidad publicada, unos 100 tokens por segundo típica en el modelo del plan, y en los límites: 30 solicitudes por minuto y 4 en curso por clave. Los términos de BroadNet indican que el autoservicio no tiene compromiso de disponibilidad; los niveles de servicio solo llegan con un acuerdo escrito. Cómo se comparan los SLA de otros proveedores.
Para necesidades mayores, BroadNet ofrece endpoints privados en GPU reservadas, con su modelo, clave, límites y región, y equipos on-premise con el mismo stack. Si lo está comparando con alquilar sus propias GPU, nuestra guía de costo de autoalojamiento frente a API desarrolla los cálculos, y los modelos que BroadNet descartó muestra cómo eligió qué servir.
