BroadRouter

Hardware de GPU e serving da BroadNet, segundo a própria BroadNet

Pela equipe da BroadNet Inference · 5 min de leitura · Publicado em · Atualizado em

A BroadNet diz que roda uma única stack de serving em três camadas de hardware: GPUs de data center da A100 à B300, uma camada de workstations com placas RTX e DGX Spark que sustenta a API pública sempre ativa, e appliances nas instalações dos clientes. Ela relata cerca de 270 modelos executados em 13 famílias de GPU, NVIDIA e AMD. Alguns modelos da API são servidos por parceiros de inferência nos EUA.

A BroadNet descreve o seu hardware de inferência com um nível de detalhe incomum. O catálogo de modelos lista as GPUs que ela diz usar, o throughput medido por placa e o que aprendeu rodando os mesmos modelos em placas diferentes. Esta página resume o que a BroadNet diz, com as palavras dela quando isso importa. Não inspecionamos o hardware, e as medições são da própria BroadNet, de setembro de 2026.

Que hardware a BroadNet diz usar?

A BroadNet diz que roda “one fleet, three tiers, one stack” (uma frota, três camadas, uma stack): os mesmos motores, quantizações e gateway, dos aceleradores de data center até os appliances nas instalações dos clientes.

Camada GPUs que a BroadNet lista Para que a BroadNet usa
Data center B300, B200, H200, H100, A100 80 GB Serving dos modelos carro-chefe, quantização e calibração, fine-tuning, endpoints privados dedicados, alocações por residência de dados
Workstation RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 A API pública sempre ativa, benchmarks entre CUDA e ROCm, desenvolvimento de modelos
Instalação do cliente DGX Spark GB10, appliances AMD compactos Implantações on-premise e air-gapped na mesma stack

No total, a BroadNet relata cerca de 270 modelos executados, cerca de 200 checkpoints carregados, cerca de 40 famílias de modelos, 12 ou mais formatos de quantização e 13 famílias de GPU. Ela também diz que “a single H100 serves the entire current public catalogue with headroom” (uma única H100 serve todo o catálogo público atual com folga).

Quais modelos da API rodam nele?

Nem todos. A declaração de privacidade da BroadNet diz que os modelos próprios e os modelos open-weight que ela hospeda rodam em hardware próprio ou alugado da BroadNet nos Estados Unidos, com capacidade de parceiros como reserva, e que modelos servidos por parceiros rodam com parceiros de inferência nos EUA sob termos de retenção zero de dados. Os Termos de Serviço citam o DeepSeek V4.1 Flash como hospedado por parceiro.

O que as páginas da própria BroadNet dizem por modelo:

Modelo na API Hardware citado pela BroadNet
Gemma 4 VL 26B GPUs NVIDIA da classe Blackwell com hot backup
Transcribe Arabic e Transcribe GPUs NVIDIA operadas pela BroadNet nos Estados Unidos
DeepSeek V4.1 Flash Hospedado por parceiro (Termos de Serviço §7.3)
GLM 5.3, Qwen3.8 27B Não informado para o tráfego da API

Se importa onde os seus dados são processados, pergunte à BroadNet antes de enviá-los. A página de inferência dela diz que o processamento regional no MENA ou na Europa está disponível sob consulta.

Qual a velocidade de cada GPU?

A BroadNet publica o throughput agregado de saída por GPU em um modelo, o Qwen3-VL 30B A3B Instruct com 32 requisições simultâneas:

GPU Camada Largura de banda de memória Tokens/s agregados
B300 Data center 8.000 GB/s 14.500
B200 Data center 8.000 GB/s 14.000
H200 Data center 4.800 GB/s 8.400
H100 Data center 3.350 GB/s 5.800
A100 80 GB Data center 2.039 GB/s 3.500
RTX PRO 6000 Blackwell Workstation 1.792 GB/s 3.100
RTX 3090 Workstation 936 GB/s 1.630
DGX Spark GB10 Workstation 273 GB/s 1.597
Radeon AI PRO R9700 Workstation 640 GB/s 1.087

A BroadNet observa que os números de data center são “planning numbers from our measured per-GPU curve” (números de planejamento a partir da nossa curva medida por GPU), não medições diretas em cada placa. A maioria das linhas sobe com a largura de banda de memória, que costuma ser o limite na decodificação, mas não todas: o DGX Spark GB10 (273 GB/s) quase empata com a RTX 3090 (936 GB/s), e a Radeon AI PRO R9700 (640 GB/s) fica atrás das duas.

O que a BroadNet diz que aprendeu com o hardware?

O catálogo lista oito resultados, cada um marcado como “measured on our own hardware” (medido no nosso próprio hardware). Os que mais importam para quem compra API:

  • CUDA vs ROCm. Rodando os mesmos modelos em NVIDIA CUDA e AMD ROCm, o CUDA transformou em tokens cerca do dobro da largura de banda de memória, então a BroadNet distribui as cargas de trabalho de acordo.
  • Speculative decoding sob carga. O EAGLE3 custou 69% do throughput com 32 requisições simultâneas, então a BroadNet manteve os drafters de multi-token prediction. O estudo de serving do Uno mede o mesmo efeito para outro método.
  • O serving importa tanto quanto os pesos. Os mesmos pesos do Gemma 4 26B servidos por um provedor hospedado tiveram, em média, nota 0,13 menor do que no que a BroadNet chama de “our own serving” (nosso próprio serving). A regra da BroadNet: manter um desafiante e a sua baseline no mesmo serving antes de compará-los.
  • Um modelo com menos parâmetros ativos pode vencer. O mixture of experts de 26B venceu o Gemma 4 31B denso em 5 de 6 etapas do pipeline, com cerca de um oitavo dos parâmetros ativos.
  • Paridade com a fronteira em um pipeline. Numa avaliação às cegas de 240 traces, o Gemma 4 servido pela BroadNet igualou o Claude Sonnet em cinco das seis etapas medidas, com respostas de 1,2 a 6,5 vezes mais rápidas por etapa.
  • Velocidade por requisição. O Qwen3-VL 30B A3B rodou a 36,5 a 110 tokens por segundo por requisição no que a BroadNet descreve como seu serving próprio, pela medição da BroadNet, contra 7 a 19 em quatro provedores do OpenRouter medidos pela BroadNet.
  • Arquitetura vale mais que a escolha do modelo. Num conjunto difícil em que dois modelos de visão locais discordavam, escalar para um árbitro hospedado levou a precisão de 1 em 12 para 11 em 12.

A comparação com o Sonnet é a afirmação mais forte, e é restrita: o pipeline de chatbot de uma única empresa, julgado às cegas por três juízes, em 240 conversas de produção de 11 tenants, segundo a página do Gemma 4 da BroadNet. Isso não significa que o Gemma 4 se iguale ao Sonnet em geral. A BroadNet não publicou um relatório completo dessa avaliação na página de pesquisa.

Como o modelo Gemma 4 é servido?

O Gemma 4 VL 26B da BroadNet é o exemplo mais claro das escolhas de serving dela, segundo a página do modelo:

  • Pesos: o Gemma 4 26B A4B do Google, quantizado pela BroadNet em AWQ de 4 bits. A BroadNet testou o NVFP4 e o aposentou depois de um confronto direto.
  • Decodificação: speculative decoding com multi-token prediction e dois tokens rascunhados (k=2), e um KV cache em fp8.
  • Template: um chat template que a BroadNet ajustou para o seu fluxo conversacional.
  • Resiliência: um hot backup com failover automático.
  • Resultado: cerca de 136 tokens por segundo em um único stream, e 90,86 na bateria interna de qualidade da BroadNet.

Veja quantização e speculative decoding para os termos.

O que isso significa para você?

Para quem usa pagamento por uso, as escolhas de serving da BroadNet aparecem na velocidade publicada, cerca de 100 tokens por segundo típicos no modelo dos planos, e nos limites: 30 requisições por minuto e 4 em andamento por chave. Os termos da BroadNet dizem que o autoatendimento não tem compromisso de disponibilidade; níveis de serviço só vêm com um acordo escrito. Como se comparam os SLAs de outros provedores.

Para necessidades maiores, a BroadNet oferece endpoints privados em GPUs reservadas, com o seu modelo, chave, limites e região, e appliances on-premise na mesma stack. Se você está comparando isso com alugar GPUs próprias, o nosso guia de custo de self-hosting versus API faz as contas, e os modelos que a BroadNet descartou mostra como ela escolheu o que servir.

Perguntas frequentes

A BroadNet roda GPUs próprias?

A BroadNet diz que opera uma frota própria de GPUs NVIDIA e AMD. A declaração de privacidade diz que os modelos próprios e os modelos open-weight que ela hospeda rodam em hardware próprio ou alugado da BroadNet nos Estados Unidos, com capacidade de parceiros como reserva. Modelos servidos por parceiros, como o DeepSeek V4.1 Flash, rodam com parceiros de inferência nos EUA.

Qual GPU serve a API pública?

O catálogo da BroadNet coloca "the always-on public API" (a API pública sempre ativa) na camada de workstations (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). A página do Gemma 4 cita GPUs NVIDIA da classe Blackwell com hot backup.

Existe um SLA de uptime publicado?

Não para o autoatendimento. Os Termos de Serviço da BroadNet dizem que o autoatendimento não tem compromisso de disponibilidade, e que níveis de serviço só existem em um acordo escrito à parte, por exemplo para um endpoint privado.

Posso ter uma GPU dedicada?

Sim. A BroadNet oferece endpoints privados em uma GPU ou nó reservado, com o modelo que você escolher, chave e limites próprios e a região de que você precisa. O preço é definido sob consulta, conforme o seu tráfego.

A BroadNet pode rodar modelos nas minhas instalações?

A BroadNet diz que a camada de instalação no cliente roda a mesma stack em DGX Spark GB10 e em appliances AMD compactos, para implantações on-premise e air-gapped.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity