Il catalogo dei modelli di BroadNet elenca ogni modello che l’azienda dichiara di aver eseguito, misurato, quantizzato o sottoposto a fine-tune sul proprio hardware, e segna quelli scartati con il motivo. Circa 30 modelli e metodi portano l’etichetta RULED OUT. I dati qui sotto sono stati misurati nel laboratorio di BroadNet a settembre 2026: sono risultati di BroadNet, non nostri.
Il catalogo usa sei etichette: PROD (ha gestito traffico reale), SERVED (con le parole del catalogo, «ran on our fleet», traduzione: eseguito sulla nostra flotta), BENCH (misurato con benchmark), QUANT (quantizzazione prodotta da BroadNet), FT (fine-tune di BroadNet) e RULED OUT (scartato).
Quali modelli chat ha scartato BroadNet?
| Modello | Che cosa ha fatto BroadNet | Perché è stato scartato |
|---|---|---|
| Qwen3.5 35B A3B (AWQ 4-bit) | Servito come livello veloce, circa 164 token/s | Non ha superato la batteria di BroadNet sulla sicurezza delle credenziali per i ruoli di sicurezza |
| GLM 4.7 Flash (AWQ) | Servito in via sperimentale | Etichettato SERVED, non RULED OUT: BroadNet dice che è stato escluso dai ruoli di sicurezza dalla sua batteria sulle credenziali e tenuto sotto la produzione |
| Nemotron 3 Nano 30B A3B (NVFP4) | Servito con un parser di ragionamento personalizzato | Etichettato SERVED, non RULED OUT: BroadNet dice che è stato escluso dai ruoli di sicurezza dalla sua batteria sulle credenziali e tenuto sotto la produzione |
| Qwen3.6 35B A3B | Servito su RTX 5090 e GB10 | Ha perso il posto di chatbot a favore di Gemma 4 26B |
| Gemma 4 E4B (AWQ INT4) | Servito su GB10 in condivisione, circa 94 token/s | Ha perso il posto di chatbot a favore di Gemma 4 26B |
| Gemma 4 26B A4B NVFP4 (tre publisher) | Quantizzazione valutata | Ritirato a favore di AWQ dopo un confronto diretto su GPU sm_120 e sm_121 |
| Speculative decoding EAGLE3 | Testato per il serving a saturazione | Costava il 69% del throughput con 32 richieste concorrenti; mantenuti i drafter multi-token-prediction |
Lo schema conta per chiunque scelga un modello aperto. Tre degli scarti riguardano la sicurezza, non la qualità: modelli abbastanza veloci che però ripetevano le credenziali. È il tipo di errore che lo studio Safety Map di BroadNet ha trovato più spesso nei modelli mixture of experts con pochi parametri attivi. Il modello che ha vinto il posto di chatbot, Gemma 4 26B A4B, è quello che BroadNet vende come Gemma 4 VL 26B.
Quali modelli vocali sono stati scartati?
| Modello | Perché è stato scartato |
|---|---|
| Gemma 4 E2B, Gemma 4 12B (come trascrittori) | È stata tenuta la variante audio E4B |
| Omnilingual ASR 300M, 1B, 3B e varianti CTC (Meta) | Il posto è andato alla variante 7B |
| Voxtral Mini 3B / 4B Realtime (Mistral) | Scartato per l’arabo |
| ArTSTv3 (linea MBZUAI) | Scartato per il ruolo arabo; tenuto Cohere Transcribe Arabic |
| FireRedVAD, DeepFilterNet, BNR (front-end) | Adottata la voice activity detection di Silero dopo un confronto diretto |
BroadNet riporta che il modello tenuto, Cohere Transcribe Arabic 07-2026, ottiene un word error rate di 21,1 sul parlato dialettale MASC, contro 22,3 di ElevenLabs Scribe v2 e 31,5 di Whisper large-v3, nel suo test. Lo serve come BroadNet Transcribe Arabic. Il catalogo indica anche che Whisper large-v3 è stato misurato come fallback.
Quali modelli per documenti, embedding e immagini hanno perso?
OCR e parsing dei documenti
- LlamaParse, l’API in uso fino ad allora, ha ottenuto 16,6 sul sottoinsieme di OmniDocBench di BroadNet. BroadNet l’ha scartato perché «it loses tables, and self-hosting is 98% cheaper per 1,000 pages» (traduzione: perde le tabelle, e il self-hosting costa il 98% in meno ogni 1.000 pagine).
- olmOCR-2, HunyuanOCR, GOT-OCR 2.0 e Nanonets OCR2 sono stati valutati e scartati; Nanonets per i termini di licenza. dots.mocr è stato tenuto come scelta di produzione perché sa sia analizzare i documenti sia descrivere le figure, anche se PaddleOCR-VL 1.6 aveva un punteggio più alto (94,74 contro 86,81).
Embedding
- gemini-embedding-2 è stato scartato per l’arabo dopo una regressione rispetto a gemini-embedding-001 (0,767 contro 0,824 sul benchmark di retrieval di BroadNet).
- nomic-embed-text v1.5, il modello in uso in precedenza, ha ottenuto 0,468 complessivo e 0,130 sull’arabo, ed è stato ritirato.
- Octen 8B, Harrier 0.6B e Nemotron Embed 1B sono stati serviti e scartati sul traffico arabo reale, «where our podium held despite their public-board wins» (traduzione: dove il nostro podio ha tenuto nonostante le loro vittorie nelle classifiche pubbliche).
BroadNet aggiunge un risultato che ha pesato più della scelta del modello: un’istruzione di query specifica per il carico di lavoro ha spostato la qualità del retrieval (nDCG) di 0,048, più del passaggio da un modello di embedding 4B a uno 8B.
Generazione di immagini e sicurezza
- Cosmos3 Super 64B e HunyuanImage 3.0 80B sono stati scartati per compatibilità hardware e termini di licenza.
- openai/privacy-filter 1.5B ha intercettato il 100% delle credenziali ma lo 0% delle cifre sugli stipendi nel corpus di fughe di dati di BroadNet, quindi è stato scartato come firewall.
Che cosa insegnano gli scarti?
Quattro lezioni valgono anche fuori dallo stack di BroadNet:
- Testa il compito, non la classifica. Diversi modelli di embedding vincenti nelle classifiche pubbliche hanno perso sul traffico arabo reale.
- La sicurezza è un controllo a parte. Un modello veloce e capace può comunque fallire un test sulle credenziali. Eseguine uno prima che un modello veda dei segreti; il metodo di valutazione di BroadNet è un punto di partenza.
- Le licenze decidono che cosa si può servire. Modelli non commerciali come Voxtral 4B TTS e Higgs Audio v3 compaiono nel catalogo solo come tetto di qualità.
- Anche le scelte di serving si misurano. Formati di quantizzazione e metodi di drafting sono stati scartati sulla base di confronti diretti, non per abitudine. Vedi l’hardware GPU e l’approccio al serving di BroadNet.
Ogni numero qui viene dal laboratorio e dal traffico di una sola azienda. Usalo come una lista di cose da testare, poi valuta sui tuoi dati prima di cambiare. Una riga scartata o solo misurata non è nemmeno qualcosa che puoi chiamare via API; leggere un catalogo di modelli spiega come distinguere le voci attive, quelle su richiesta e quelle di ricerca.
