A BroadNet descreve o seu hardware de inferência com um nível de detalhe incomum. O catálogo de modelos lista as GPUs que ela diz usar, o throughput medido por placa e o que aprendeu rodando os mesmos modelos em placas diferentes. Esta página resume o que a BroadNet diz, com as palavras dela quando isso importa. Não inspecionamos o hardware, e as medições são da própria BroadNet, de setembro de 2026.
Que hardware a BroadNet diz usar?
A BroadNet diz que roda “one fleet, three tiers, one stack” (uma frota, três camadas, uma stack): os mesmos motores, quantizações e gateway, dos aceleradores de data center até os appliances nas instalações dos clientes.
| Camada | GPUs que a BroadNet lista | Para que a BroadNet usa |
|---|---|---|
| Data center | B300, B200, H200, H100, A100 80 GB | Serving dos modelos carro-chefe, quantização e calibração, fine-tuning, endpoints privados dedicados, alocações por residência de dados |
| Workstation | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | A API pública sempre ativa, benchmarks entre CUDA e ROCm, desenvolvimento de modelos |
| Instalação do cliente | DGX Spark GB10, appliances AMD compactos | Implantações on-premise e air-gapped na mesma stack |
No total, a BroadNet relata cerca de 270 modelos executados, cerca de 200 checkpoints carregados, cerca de 40 famílias de modelos, 12 ou mais formatos de quantização e 13 famílias de GPU. Ela também diz que “a single H100 serves the entire current public catalogue with headroom” (uma única H100 serve todo o catálogo público atual com folga).
Quais modelos da API rodam nele?
Nem todos. A declaração de privacidade da BroadNet diz que os modelos próprios e os modelos open-weight que ela hospeda rodam em hardware próprio ou alugado da BroadNet nos Estados Unidos, com capacidade de parceiros como reserva, e que modelos servidos por parceiros rodam com parceiros de inferência nos EUA sob termos de retenção zero de dados. Os Termos de Serviço citam o DeepSeek V4.1 Flash como hospedado por parceiro.
O que as páginas da própria BroadNet dizem por modelo:
| Modelo na API | Hardware citado pela BroadNet |
|---|---|
| Gemma 4 VL 26B | GPUs NVIDIA da classe Blackwell com hot backup |
| Transcribe Arabic e Transcribe | GPUs NVIDIA operadas pela BroadNet nos Estados Unidos |
| DeepSeek V4.1 Flash | Hospedado por parceiro (Termos de Serviço §7.3) |
| GLM 5.3, Qwen3.8 27B | Não informado para o tráfego da API |
Se importa onde os seus dados são processados, pergunte à BroadNet antes de enviá-los. A página de inferência dela diz que o processamento regional no MENA ou na Europa está disponível sob consulta.
Qual a velocidade de cada GPU?
A BroadNet publica o throughput agregado de saída por GPU em um modelo, o Qwen3-VL 30B A3B Instruct com 32 requisições simultâneas:
| GPU | Camada | Largura de banda de memória | Tokens/s agregados |
|---|---|---|---|
| B300 | Data center | 8.000 GB/s | 14.500 |
| B200 | Data center | 8.000 GB/s | 14.000 |
| H200 | Data center | 4.800 GB/s | 8.400 |
| H100 | Data center | 3.350 GB/s | 5.800 |
| A100 80 GB | Data center | 2.039 GB/s | 3.500 |
| RTX PRO 6000 Blackwell | Workstation | 1.792 GB/s | 3.100 |
| RTX 3090 | Workstation | 936 GB/s | 1.630 |
| DGX Spark GB10 | Workstation | 273 GB/s | 1.597 |
| Radeon AI PRO R9700 | Workstation | 640 GB/s | 1.087 |
A BroadNet observa que os números de data center são “planning numbers from our measured per-GPU curve” (números de planejamento a partir da nossa curva medida por GPU), não medições diretas em cada placa. A maioria das linhas sobe com a largura de banda de memória, que costuma ser o limite na decodificação, mas não todas: o DGX Spark GB10 (273 GB/s) quase empata com a RTX 3090 (936 GB/s), e a Radeon AI PRO R9700 (640 GB/s) fica atrás das duas.
O que a BroadNet diz que aprendeu com o hardware?
O catálogo lista oito resultados, cada um marcado como “measured on our own hardware” (medido no nosso próprio hardware). Os que mais importam para quem compra API:
- CUDA vs ROCm. Rodando os mesmos modelos em NVIDIA CUDA e AMD ROCm, o CUDA transformou em tokens cerca do dobro da largura de banda de memória, então a BroadNet distribui as cargas de trabalho de acordo.
- Speculative decoding sob carga. O EAGLE3 custou 69% do throughput com 32 requisições simultâneas, então a BroadNet manteve os drafters de multi-token prediction. O estudo de serving do Uno mede o mesmo efeito para outro método.
- O serving importa tanto quanto os pesos. Os mesmos pesos do Gemma 4 26B servidos por um provedor hospedado tiveram, em média, nota 0,13 menor do que no que a BroadNet chama de “our own serving” (nosso próprio serving). A regra da BroadNet: manter um desafiante e a sua baseline no mesmo serving antes de compará-los.
- Um modelo com menos parâmetros ativos pode vencer. O mixture of experts de 26B venceu o Gemma 4 31B denso em 5 de 6 etapas do pipeline, com cerca de um oitavo dos parâmetros ativos.
- Paridade com a fronteira em um pipeline. Numa avaliação às cegas de 240 traces, o Gemma 4 servido pela BroadNet igualou o Claude Sonnet em cinco das seis etapas medidas, com respostas de 1,2 a 6,5 vezes mais rápidas por etapa.
- Velocidade por requisição. O Qwen3-VL 30B A3B rodou a 36,5 a 110 tokens por segundo por requisição no que a BroadNet descreve como seu serving próprio, pela medição da BroadNet, contra 7 a 19 em quatro provedores do OpenRouter medidos pela BroadNet.
- Arquitetura vale mais que a escolha do modelo. Num conjunto difícil em que dois modelos de visão locais discordavam, escalar para um árbitro hospedado levou a precisão de 1 em 12 para 11 em 12.
A comparação com o Sonnet é a afirmação mais forte, e é restrita: o pipeline de chatbot de uma única empresa, julgado às cegas por três juízes, em 240 conversas de produção de 11 tenants, segundo a página do Gemma 4 da BroadNet. Isso não significa que o Gemma 4 se iguale ao Sonnet em geral. A BroadNet não publicou um relatório completo dessa avaliação na página de pesquisa.
Como o modelo Gemma 4 é servido?
O Gemma 4 VL 26B da BroadNet é o exemplo mais claro das escolhas de serving dela, segundo a página do modelo:
- Pesos: o Gemma 4 26B A4B do Google, quantizado pela BroadNet em AWQ de 4 bits. A BroadNet testou o NVFP4 e o aposentou depois de um confronto direto.
- Decodificação: speculative decoding com multi-token prediction e dois tokens rascunhados (k=2), e um KV cache em fp8.
- Template: um chat template que a BroadNet ajustou para o seu fluxo conversacional.
- Resiliência: um hot backup com failover automático.
- Resultado: cerca de 136 tokens por segundo em um único stream, e 90,86 na bateria interna de qualidade da BroadNet.
Veja quantização e speculative decoding para os termos.
O que isso significa para você?
Para quem usa pagamento por uso, as escolhas de serving da BroadNet aparecem na velocidade publicada, cerca de 100 tokens por segundo típicos no modelo dos planos, e nos limites: 30 requisições por minuto e 4 em andamento por chave. Os termos da BroadNet dizem que o autoatendimento não tem compromisso de disponibilidade; níveis de serviço só vêm com um acordo escrito. Como se comparam os SLAs de outros provedores.
Para necessidades maiores, a BroadNet oferece endpoints privados em GPUs reservadas, com o seu modelo, chave, limites e região, e appliances on-premise na mesma stack. Se você está comparando isso com alugar GPUs próprias, o nosso guia de custo de self-hosting versus API faz as contas, e os modelos que a BroadNet descartou mostra como ela escolheu o que servir.
