BroadNet décrit son matériel d’inférence avec un niveau de détail inhabituel. Son catalogue de modèles liste les GPU qu’elle dit exploiter, le débit mesuré par carte, et ce qu’elle a appris en faisant tourner les mêmes modèles sur chacune. Cette page résume ce que dit BroadNet, avec ses propres mots quand cela compte. Nous n’avons pas inspecté le matériel, et les mesures sont celles de BroadNet, de septembre 2026.
Quel matériel BroadNet dit-elle exploiter ?
BroadNet décrit « one fleet, three tiers, one stack » (traduction : « une flotte, trois niveaux, une pile ») : les mêmes moteurs, quantifications et passerelle, des accélérateurs de data center jusqu’aux appliances sur les sites clients.
| Niveau | GPU listés par BroadNet | Usage selon BroadNet |
|---|---|---|
| Data center | B300, B200, H200, H100, A100 80 Go | Serving des modèles phares, quantification et calibration, fine-tuning, endpoints privés dédiés, placements pour la résidence des données |
| Station de travail | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | L’API publique toujours active, benchmarks CUDA et ROCm, développement de modèles |
| Site client | DGX Spark GB10, appliances AMD compactes | Déploiements sur site et isolés du réseau sur la même pile |
Au total, BroadNet annonce environ 270 modèles exécutés, environ 200 checkpoints chargés, environ 40 familles de modèles, 12 formats de quantification ou plus et 13 familles de GPU. Elle affirme aussi que « a single H100 serves the entire current public catalogue with headroom » (traduction : « un seul H100 sert l’ensemble du catalogue public actuel avec de la marge »).
Quels modèles de l’API y tournent ?
Pas tous. La déclaration de confidentialité de BroadNet indique que ses propres modèles et les modèles open-weight qu’elle héberge tournent sur du matériel détenu ou loué par BroadNet aux États-Unis, avec de la capacité partenaire en secours, et que les modèles servis par des partenaires fonctionnent sous des conditions de conservation zéro des données chez des partenaires d’inférence américains. Ses Conditions d’utilisation désignent DeepSeek V4.1 Flash comme hébergé par un partenaire.
Ce que disent les pages de BroadNet, modèle par modèle :
| Modèle de l’API | Matériel cité par BroadNet |
|---|---|
| Gemma 4 VL 26B | GPU NVIDIA de classe Blackwell avec un secours à chaud |
| Transcribe Arabic et Transcribe | GPU NVIDIA exploités par BroadNet aux États-Unis |
| DeepSeek V4.1 Flash | Hébergé par un partenaire (Conditions d’utilisation §7.3) |
| GLM 5.3, Qwen3.8 27B | Non précisé pour le trafic de l’API |
Si le lieu de traitement de vos données compte, interrogez BroadNet avant de les envoyer. Sa page sur l’inférence indique qu’un traitement régional en MENA ou en Europe est possible sur demande.
Quelle est la vitesse de chaque GPU ?
BroadNet publie le débit de sortie agrégé par GPU pour un modèle, Qwen3-VL 30B A3B Instruct, avec 32 requêtes simultanées :
| GPU | Niveau | Bande passante mémoire | Tokens/s agrégés |
|---|---|---|---|
| B300 | Data center | 8 000 Go/s | 14 500 |
| B200 | Data center | 8 000 Go/s | 14 000 |
| H200 | Data center | 4 800 Go/s | 8 400 |
| H100 | Data center | 3 350 Go/s | 5 800 |
| A100 80 Go | Data center | 2 039 Go/s | 3 500 |
| RTX PRO 6000 Blackwell | Station de travail | 1 792 Go/s | 3 100 |
| RTX 3090 | Station de travail | 936 Go/s | 1 630 |
| DGX Spark GB10 | Station de travail | 273 Go/s | 1 597 |
| Radeon AI PRO R9700 | Station de travail | 640 Go/s | 1 087 |
BroadNet précise que les chiffres du data center sont des « planning numbers from our measured per-GPU curve » (traduction : « chiffres de planification issus de notre courbe mesurée par GPU »), et non des mesures directes sur chaque carte. La plupart des lignes augmentent avec la bande passante mémoire, la limite habituelle du décodage, mais pas toutes : le DGX Spark GB10 (273 Go/s) égale presque la RTX 3090 (936 Go/s), et la Radeon AI PRO R9700 (640 Go/s) arrive derrière les deux.
Qu’est-ce que son matériel a appris à BroadNet, selon elle ?
Le catalogue liste huit constats, chacun marqué « measured on our own hardware » (traduction : « mesuré sur notre propre matériel »). Ceux qui comptent le plus pour les acheteurs d’API :
- CUDA ou ROCm. Avec les mêmes modèles sur NVIDIA CUDA et AMD ROCm, CUDA a transformé en tokens environ deux fois plus de bande passante mémoire ; BroadNet répartit donc les charges de travail en conséquence.
- Décodage spéculatif sous charge. EAGLE3 a coûté 69 % du débit à 32 requêtes simultanées ; BroadNet a donc gardé les drafters à prédiction multi-tokens. Son étude de serving d’Uno mesure le même effet pour une autre méthode.
- Le serving compte autant que les poids. Les mêmes poids de Gemma 4 26B servis par un fournisseur hébergé ont obtenu en moyenne 0,13 de moins que sur ce que BroadNet appelle « our own serving » (traduction : « notre propre serving »). La règle de BroadNet : placer un challenger et sa référence sur le même serving avant de les comparer.
- Un modèle à moins de paramètres actifs peut gagner. Le mixture of experts 26B a battu le Gemma 4 31B dense sur 5 des 6 étapes du pipeline, avec environ un huitième des paramètres actifs.
- Parité avec les modèles de pointe sur un pipeline. Dans une évaluation à l’aveugle de 240 traces, le Gemma 4 servi par BroadNet a égalé Claude Sonnet sur cinq des six étapes mesurées, avec des réponses 1,2 à 6,5 fois plus rapides par étape.
- Vitesse par requête. Qwen3-VL 30B A3B a tourné à 36,5 à 110 tokens par seconde par requête sur ce que BroadNet décrit comme son propre serving, selon les mesures de BroadNet, contre 7 à 19 chez quatre fournisseurs OpenRouter mesurés par BroadNet.
- L’architecture compte plus que le choix du modèle. Sur un jeu difficile où deux modèles de vision locaux n’étaient pas d’accord, l’escalade vers un arbitre hébergé a fait passer la précision de 1 sur 12 à 11 sur 12.
La comparaison avec Sonnet est l’affirmation la plus forte, et elle est étroite : le pipeline de chatbot d’une seule entreprise, jugé à l’aveugle par trois juges, sur 240 conversations de production de 11 clients, selon la page Gemma 4 de BroadNet. Cela ne signifie pas que Gemma 4 égale Sonnet en général. BroadNet n’a pas publié de compte rendu complet de cette évaluation sur sa page de recherche.
Comment le modèle Gemma 4 est-il servi ?
Le Gemma 4 VL 26B de BroadNet est l’exemple le plus clair de ses choix de serving, selon sa page de modèle :
- Poids : Gemma 4 26B A4B de Google, quantifié par BroadNet en AWQ 4 bits. BroadNet a testé NVFP4 et l’a abandonné après une comparaison directe.
- Décodage : décodage spéculatif par prédiction multi-tokens avec deux tokens proposés (k=2), et un cache KV en fp8.
- Template : un template de chat que BroadNet a ajusté pour son flux conversationnel.
- Résilience : un secours à chaud avec basculement automatique.
- Résultat : environ 136 tokens par seconde sur un flux unique, et 90,86 sur la batterie de qualité interne de BroadNet.
Voir quantification et décodage spéculatif pour les termes.
Qu’est-ce que cela change pour vous ?
Pour un utilisateur en paiement à l’usage, les choix de serving de BroadNet se traduisent par la vitesse publiée, environ 100 tokens par seconde en général sur le modèle du forfait, et par les limites : 30 requêtes par minute et 4 en cours par clé. Les conditions de BroadNet indiquent que le libre-service n’a aucun engagement de disponibilité ; les niveaux de service ne viennent qu’avec un accord écrit. Comparaison des SLA des autres fournisseurs.
Pour des besoins plus importants, BroadNet propose des endpoints privés sur GPU réservés, avec votre modèle, votre clé, vos limites et votre région, ainsi que des appliances sur site avec la même pile. Si vous comparez cela à la location de vos propres GPU, notre guide auto-hébergement ou API détaille le calcul, et les modèles écartés par BroadNet montre comment elle a choisi ce qu’elle sert.
