BroadRouter

El hardware GPU de BroadNet y cómo sirve los modelos, según BroadNet

Por el equipo de BroadNet Inference · 5 min de lectura · Publicado · Actualizado

BroadNet afirma que usa un mismo stack de serving en tres niveles de hardware: GPU de centro de datos de A100 a B300, un nivel de estaciones de trabajo con tarjetas RTX y DGX Spark que sostiene la API pública siempre activa, y equipos en las instalaciones de clientes. Reporta unos 270 modelos ejecutados en 13 familias de GPU, NVIDIA y AMD. Algunos modelos de la API los sirven socios de inferencia en EE. UU.

BroadNet describe su hardware de inferencia con un detalle poco habitual. Su catálogo de modelos enumera las GPU que dice utilizar, el rendimiento medido por tarjeta y lo que aprendió al ejecutar los mismos modelos en todas ellas. Esta página resume lo que dice BroadNet, con sus propias palabras cuando importa. No hemos inspeccionado el hardware, y las mediciones son de BroadNet, de septiembre de 2026.

¿Qué hardware dice utilizar BroadNet?

BroadNet afirma que opera “one fleet, three tiers, one stack” (Traducción: una flota, tres niveles, un stack): los mismos motores, cuantizaciones y gateway desde los aceleradores de centro de datos hasta los equipos en instalaciones de clientes.

Nivel GPU que enumera BroadNet Para qué lo usa BroadNet
Centro de datos B300, B200, H200, H100, A100 80 GB Serving de modelos insignia, cuantización y calibración, fine-tuning, endpoints privados dedicados, ubicaciones con residencia de datos
Estación de trabajo RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 La API pública siempre activa, benchmarking con CUDA y ROCm, desarrollo de modelos
Instalaciones del cliente DGX Spark GB10, equipos AMD compactos Despliegues on-premise y aislados de la red con el mismo stack

En total, BroadNet reporta unos 270 modelos ejecutados, unos 200 checkpoints cargados, unas 40 familias de modelos, 12 o más formatos de cuantización y 13 familias de GPU. También afirma que “a single H100 serves the entire current public catalogue with headroom” (Traducción: una sola H100 sirve todo el catálogo público actual con margen).

¿Qué modelos de la API funcionan en él?

No todos. La declaración de privacidad de BroadNet indica que sus propios modelos y los modelos de pesos abiertos que aloja funcionan en hardware propio o arrendado por BroadNet en Estados Unidos, con capacidad de socios como respaldo, y que los modelos servidos por socios funcionan bajo condiciones de cero retención de datos con socios de inferencia en EE. UU. Sus Términos del Servicio nombran a DeepSeek V4.1 Flash como alojado por un socio.

Lo que dicen las propias páginas de BroadNet por modelo:

Modelo en la API Hardware que nombra BroadNet
Gemma 4 VL 26B GPU NVIDIA de clase Blackwell con un respaldo en caliente
Transcribe Arabic y Transcribe GPU NVIDIA operadas por BroadNet en Estados Unidos
DeepSeek V4.1 Flash Alojado por un socio (Términos del Servicio §7.3)
GLM 5.3, Qwen3.8 27B No se indica para el tráfico de la API

Si le importa dónde se procesan sus datos, pregunte a BroadNet antes de enviarlos. Su página de inferencia indica que el procesamiento regional en MENA o Europa está disponible a petición.

¿Qué velocidad tiene cada GPU?

BroadNet publica el rendimiento agregado de salida por GPU para un modelo, Qwen3-VL 30B A3B Instruct con 32 solicitudes concurrentes:

GPU Nivel Ancho de banda de memoria Tokens/s agregados
B300 Centro de datos 8,000 GB/s 14,500
B200 Centro de datos 8,000 GB/s 14,000
H200 Centro de datos 4,800 GB/s 8,400
H100 Centro de datos 3,350 GB/s 5,800
A100 80 GB Centro de datos 2,039 GB/s 3,500
RTX PRO 6000 Blackwell Estación de trabajo 1,792 GB/s 3,100
RTX 3090 Estación de trabajo 936 GB/s 1,630
DGX Spark GB10 Estación de trabajo 273 GB/s 1,597
Radeon AI PRO R9700 Estación de trabajo 640 GB/s 1,087

BroadNet aclara que las cifras de centro de datos son “planning numbers from our measured per-GPU curve” (Traducción: cifras de planificación a partir de nuestra curva medida por GPU), no mediciones directas en cada tarjeta. La mayoría de las filas suben con el ancho de banda de memoria, el límite habitual de la decodificación, pero no todas: DGX Spark GB10 (273 GB/s) casi iguala a la RTX 3090 (936 GB/s), y la Radeon AI PRO R9700 (640 GB/s) queda por detrás de ambas.

¿Qué dice BroadNet que le enseñó su hardware?

El catálogo enumera ocho hallazgos, cada uno marcado como “measured on our own hardware” (Traducción: medido en nuestro propio hardware). Los más relevantes para quien compra una API:

  • CUDA frente a ROCm. Al ejecutar los mismos modelos en NVIDIA CUDA y AMD ROCm, CUDA convirtió en tokens aproximadamente el doble de ancho de banda de memoria, así que BroadNet distribuye las cargas de trabajo en consecuencia.
  • Decodificación especulativa bajo carga. EAGLE3 costó el 69 % del rendimiento con 32 solicitudes concurrentes, así que BroadNet se quedó con los drafters de predicción de varios tokens. Su estudio de serving de Uno mide el mismo efecto para otro método.
  • El serving importa tanto como los pesos. Los mismos pesos de Gemma 4 26B servidos por un proveedor alojado puntuaron de media 0.13 menos que en lo que BroadNet llama “our own serving” (Traducción: nuestro propio serving). La regla de BroadNet: mantener a un modelo candidato y a su referencia en el mismo serving antes de compararlos.
  • Un modelo con menos parámetros activos puede ganar. El mixture of experts de 26B superó al Gemma 4 31B denso en 5 de 6 pasos del pipeline con aproximadamente una octava parte de los parámetros activos.
  • Paridad con la frontera en un pipeline. En una evaluación a ciegas de 240 trazas, el Gemma 4 servido por BroadNet igualó a Claude Sonnet en cinco de seis pasos medidos, con respuestas entre 1.2 y 6.5 veces más rápidas por paso.
  • Velocidad por solicitud. Qwen3-VL 30B A3B funcionó a entre 36.5 y 110 tokens por segundo por solicitud en lo que BroadNet describe como su propio serving, según la medición de BroadNet, frente a entre 7 y 19 en cuatro proveedores de OpenRouter que BroadNet midió.
  • La arquitectura supera a la elección del modelo. En un conjunto difícil en el que dos modelos de visión locales discrepaban, escalar a un árbitro alojado subió la precisión de 1 de 12 a 11 de 12.

La comparación con Sonnet es la afirmación más fuerte, y es acotada: el pipeline de chatbot de una empresa, juzgado a ciegas por tres jueces, sobre 240 conversaciones de producción de 11 clientes, según la página de Gemma 4 de BroadNet. No significa que Gemma 4 iguale a Sonnet en general. BroadNet no ha publicado un informe completo de esa evaluación en su página de investigación.

¿Cómo se sirve el modelo Gemma 4?

El Gemma 4 VL 26B de BroadNet es el ejemplo más claro de sus decisiones de serving, según su página del modelo:

  • Pesos: Gemma 4 26B A4B de Google, cuantizado por BroadNet a AWQ de 4 bits. BroadNet probó NVFP4 y lo descartó tras una comparación directa.
  • Decodificación: decodificación especulativa con predicción de varios tokens y dos tokens borrador (k=2), y una caché KV en fp8.
  • Plantilla: una plantilla de chat que BroadNet ajustó para su flujo conversacional.
  • Resiliencia: un respaldo en caliente con conmutación automática por error.
  • Resultado: unos 136 tokens por segundo en un único stream, y 90.86 en la batería interna de calidad de BroadNet.

Consulte cuantización y decodificación especulativa para los términos.

¿Qué significa esto para usted?

Para un usuario de pago por uso, las decisiones de serving de BroadNet se notan en la velocidad publicada, unos 100 tokens por segundo típica en el modelo del plan, y en los límites: 30 solicitudes por minuto y 4 en curso por clave. Los términos de BroadNet indican que el autoservicio no tiene compromiso de disponibilidad; los niveles de servicio solo llegan con un acuerdo escrito. Cómo se comparan los SLA de otros proveedores.

Para necesidades mayores, BroadNet ofrece endpoints privados en GPU reservadas, con su modelo, clave, límites y región, y equipos on-premise con el mismo stack. Si lo está comparando con alquilar sus propias GPU, nuestra guía de costo de autoalojamiento frente a API desarrolla los cálculos, y los modelos que BroadNet descartó muestra cómo eligió qué servir.

Preguntas frecuentes

¿BroadNet opera sus propias GPU?

BroadNet afirma que opera su propia flota de GPU NVIDIA y AMD. Su declaración de privacidad indica que sus propios modelos y los modelos de pesos abiertos que aloja funcionan en hardware propio o arrendado por BroadNet en Estados Unidos, con capacidad de socios como respaldo. Los modelos servidos por socios, como DeepSeek V4.1 Flash, funcionan con socios de inferencia en EE. UU.

¿Qué GPU sirve la API pública?

El catálogo de BroadNet sitúa "the always-on public API" (Traducción: la API pública siempre activa) en su nivel de estaciones de trabajo (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Su página de Gemma 4 menciona GPU NVIDIA de clase Blackwell con un respaldo en caliente.

¿Hay un SLA de disponibilidad publicado?

No para el autoservicio. Los Términos del Servicio de BroadNet indican que el autoservicio no tiene compromiso de disponibilidad, y que los niveles de servicio solo existen en un acuerdo escrito aparte, como el de un endpoint privado.

¿Puedo obtener una GPU dedicada?

Sí. BroadNet ofrece endpoints privados en una GPU o un nodo reservado, con el modelo que usted elija, su propia clave y límites, y la región que necesite. Se cotizan según su tráfico, a petición.

¿Puede BroadNet ejecutar modelos en mis instalaciones?

BroadNet afirma que su nivel de instalaciones del cliente ejecuta el mismo stack en DGX Spark GB10 y equipos AMD compactos para despliegues on-premise y aislados de la red (air-gapped).

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity