Le catalogue de modèles de BroadNet liste chaque modèle que BroadNet dit avoir exécuté, évalué, quantifié ou affiné sur son propre matériel, et marque ceux qu’il a rejetés en donnant une raison. Une trentaine de modèles et de méthodes portent l’étiquette RULED OUT. Les chiffres ci-dessous ont été mesurés dans le laboratoire de BroadNet en septembre 2026 ; ce sont les résultats de BroadNet, pas les nôtres.
Le catalogue utilise six étiquettes : PROD (a traité du trafic réel), SERVED (selon les termes du catalogue, « ran on our fleet », traduction : « a tourné sur notre parc »), BENCH (évalué), QUANT (BroadNet a produit la quantification), FT (affiné par BroadNet) et RULED OUT (écarté).
Quels modèles de chat BroadNet a-t-il écartés ?
| Modèle | Ce que BroadNet a fait | Pourquoi il a été écarté |
|---|---|---|
| Qwen3.5 35B A3B (AWQ 4-bit) | Servi comme palier de vitesse, environ 164 tokens/s | Échec à la batterie de tests de sécurité des identifiants de BroadNet pour les rôles de sécurité |
| GLM 4.7 Flash (AWQ) | Servi à titre expérimental | Étiqueté SERVED, pas RULED OUT : BroadNet indique qu’il a été écarté des rôles de sécurité par sa batterie de tests des identifiants et maintenu sous le niveau production |
| Nemotron 3 Nano 30B A3B (NVFP4) | Servi avec un parseur de raisonnement maison | Étiqueté SERVED, pas RULED OUT : BroadNet indique qu’il a été écarté des rôles de sécurité par sa batterie de tests des identifiants et maintenu sous le niveau production |
| Qwen3.6 35B A3B | Servi sur RTX 5090 et GB10 | A perdu la place de chatbot au profit de Gemma 4 26B |
| Gemma 4 E4B (AWQ INT4) | Servi sur GB10 en colocation, environ 94 tokens/s | A perdu la place de chatbot au profit de Gemma 4 26B |
| Gemma 4 26B A4B NVFP4 (trois éditeurs) | Quantification évaluée | Retiré au profit d’AWQ après un face-à-face sur GPU sm_120 et sm_121 |
| Décodage spéculatif EAGLE3 | Testé pour un service saturé | A coûté 69 % du débit à 32 requêtes simultanées ; les drafters à prédiction multi-tokens ont été conservés |
Ce schéma compte pour quiconque choisit un modèle ouvert. Trois des rejets portent sur la sécurité, pas sur la qualité : des modèles assez rapides, mais qui répétaient des identifiants. C’est le mode d’échec que l’étude Safety Map de BroadNet a le plus souvent observé chez les modèles mixture of experts à faible nombre de paramètres actifs. Le modèle qui a remporté la place de chatbot, Gemma 4 26B A4B, est celui que BroadNet vend sous le nom de Gemma 4 VL 26B.
Quels modèles vocaux ont été écartés ?
| Modèle | Pourquoi il a été écarté |
|---|---|
| Gemma 4 E2B, Gemma 4 12B (comme transcripteurs) | La variante audio d’E4B a été conservée à la place |
| Omnilingual ASR 300M, 1B, 3B et variantes CTC (Meta) | La variante 7B a obtenu la place |
| Voxtral Mini 3B / 4B Realtime (Mistral) | Écarté pour l’arabe |
| ArTSTv3 (lignée MBZUAI) | Écarté pour la place arabe ; Cohere Transcribe Arabic conservé |
| FireRedVAD, DeepFilterNet, BNR (prétraitement) | Silero adopté pour la détection d’activité vocale après un face-à-face |
BroadNet indique que le modèle conservé, Cohere Transcribe Arabic 07-2026, obtient un taux d’erreur sur les mots de 21,1 sur la parole dialectale MASC, contre 22,3 pour ElevenLabs Scribe v2 et 31,5 pour Whisper large-v3, dans son propre test. Il sert ce modèle sous le nom de BroadNet Transcribe Arabic. Le catalogue précise aussi que Whisper large-v3 a été évalué comme solution de repli.
Quels modèles de documents, d’embeddings et d’images ont perdu ?
OCR et analyse de documents
- LlamaParse, l’API en place, a obtenu 16,6 sur le sous-ensemble OmniDocBench de BroadNet. BroadNet l’a écarté parce que « it loses tables, and self-hosting is 98% cheaper per 1,000 pages » (traduction : « il perd des tableaux, et l’auto-hébergement est 98 % moins cher pour 1 000 pages »).
- olmOCR-2, HunyuanOCR, GOT-OCR 2.0 et Nanonets OCR2 ont été évalués et écartés, Nanonets pour des raisons de licence. dots.mocr a été retenu pour la production parce qu’il analyse et décrit les figures, même si PaddleOCR-VL 1.6 a obtenu un meilleur score (94,74 contre 86,81).
Embeddings
- gemini-embedding-2 a été écarté pour l’arabe après une régression par rapport à gemini-embedding-001 (0,767 contre 0,824 sur le benchmark de recherche de BroadNet).
- nomic-embed-text v1.5, l’ancienne solution en place, a obtenu 0,468 au global et 0,130 en arabe, et a été retiré.
- Octen 8B, Harrier 0.6B et Nemotron Embed 1B ont été servis puis écartés sur du vrai trafic arabe, « where our podium held despite their public-board wins » (traduction : « où notre podium a tenu malgré leurs victoires dans les classements publics »).
BroadNet ajoute un résultat qui a pesé plus lourd que le choix du modèle : une instruction de requête propre à la charge de travail a amélioré la qualité de recherche (nDCG) de 0,048, davantage que le passage d’un modèle d’embeddings 4B à un 8B.
Génération d’images et sécurité
- Cosmos3 Super 64B et HunyuanImage 3.0 80B ont été écartés pour des raisons d’adéquation au matériel et de licence.
- openai/privacy-filter 1.5B a détecté 100 % des identifiants mais 0 % des montants de salaire dans le corpus de fuites de BroadNet ; il a donc été écarté comme pare-feu.
Que retenir de ces rejets ?
Quatre leçons valent au-delà de la pile de BroadNet :
- Testez la tâche, pas le classement. Plusieurs modèles d’embeddings vainqueurs des classements publics ont perdu sur du vrai trafic arabe.
- La sécurité est une étape à part. Un modèle rapide et compétent peut quand même échouer à un test sur les identifiants. Faites-en passer un avant qu’un modèle ne voie des secrets ; la méthode d’évaluation de BroadNet est un point de départ.
- Les licences décident de ce qui peut être servi. Les modèles non commerciaux comme Voxtral 4B TTS et Higgs Audio v3 n’apparaissent au catalogue que comme plafonds de qualité.
- Les choix de service sont mesurés eux aussi. Des formats de quantification et des méthodes de drafting ont été écartés sur des chiffres de face-à-face, pas par défaut. Voir le matériel GPU et l’approche de service de BroadNet.
Chaque chiffre ici vient du laboratoire et du trafic d’une seule entreprise. Servez-vous-en comme d’une présélection de ce qu’il faut tester, puis évaluez sur vos propres données avant de changer. Une ligne écartée ou seulement évaluée n’est pas non plus un modèle que vous pouvez appeler ; lire un catalogue de modèles explique comment distinguer les entrées en production, sur demande et de recherche.
