Katalog model BroadNet mencantumkan setiap model yang menurut BroadNet pernah dijalankan, di-benchmark, dikuantisasi, atau di-fine-tune di hardware miliknya, dan menandai model yang ditolak beserta alasannya. Sekitar 30 model dan metode berlabel RULED OUT (dicoret). Angka-angka di bawah diukur di lab BroadNet pada September 2026; ini hasil BroadNet, bukan hasil kami.
Katalog memakai enam label: PROD (pernah melayani trafik live), SERVED (menurut katalog, “ran on our fleet” (pernah berjalan di armada kami)), BENCH (di-benchmark), QUANT (kuantisasinya dibuat BroadNet), FT (di-fine-tune BroadNet), dan RULED OUT.
Model chat mana yang dicoret BroadNet?
| Model | Apa yang dilakukan BroadNet | Mengapa dicoret |
|---|---|---|
| Qwen3.5 35B A3B (AWQ 4-bit) | Disajikan sebagai tier kecepatan, sekitar 164 token/detik | Gagal rangkaian uji keamanan kredensial BroadNet untuk peran keamanan |
| GLM 4.7 Flash (AWQ) | Disajikan secara eksperimental | Berlabel SERVED, bukan RULED OUT: BroadNet menyebut model ini dicoret untuk peran keamanan oleh rangkaian uji keamanan kredensial dan ditahan di bawah produksi |
| Nemotron 3 Nano 30B A3B (NVFP4) | Disajikan dengan parser penalaran khusus | Berlabel SERVED, bukan RULED OUT: BroadNet menyebut model ini dicoret untuk peran keamanan oleh rangkaian uji keamanan kredensial dan ditahan di bawah produksi |
| Qwen3.6 35B A3B | Disajikan di RTX 5090 dan GB10 | Kalah dari Gemma 4 26B untuk posisi chatbot |
| Gemma 4 E4B (AWQ INT4) | Disajikan di GB10 sebagai co-tenant, sekitar 94 token/detik | Kalah dari Gemma 4 26B untuk posisi chatbot |
| Gemma 4 26B A4B NVFP4 (tiga penerbit) | Kuantisasi dievaluasi | Dipensiunkan dan diganti AWQ setelah perbandingan langsung di GPU sm_120 dan sm_121 |
| Speculative decoding EAGLE3 | Diuji untuk penyajian saat jenuh | Menghabiskan 69% throughput pada 32 permintaan bersamaan; drafter multi-token-prediction tetap dipakai |
Polanya penting bagi siapa pun yang memilih model terbuka. Tiga penolakan berkaitan dengan keamanan, bukan kualitas: model yang cukup cepat tetapi mengulang kredensial. Itulah mode kegagalan yang paling sering ditemukan studi Safety Map BroadNet pada model mixture-of-experts dengan parameter aktif kecil. Model yang memenangkan posisi chatbot, Gemma 4 26B A4B, adalah model yang dijual BroadNet sebagai Gemma 4 VL 26B.
Model speech mana yang dicoret?
| Model | Mengapa dicoret |
|---|---|
| Gemma 4 E2B, Gemma 4 12B (sebagai transkriber) | Varian audio E4B yang dipertahankan |
| Omnilingual ASR 300M, 1B, 3B, dan varian CTC (Meta) | Varian 7B yang mendapat posisinya |
| Voxtral Mini 3B / 4B Realtime (Mistral) | Dicoret untuk bahasa Arab |
| ArTSTv3 (garis MBZUAI) | Dicoret untuk posisi bahasa Arab; Cohere Transcribe Arabic dipertahankan |
| FireRedVAD, DeepFilterNet, BNR (front-end) | Deteksi aktivitas suara Silero dipakai setelah perbandingan langsung |
BroadNet melaporkan bahwa model yang dipertahankannya, Cohere Transcribe Arabic 07-2026, mencetak word error rate 21,1 pada ucapan dialek MASC, dibandingkan 22,3 untuk ElevenLabs Scribe v2 dan 31,5 untuk Whisper large-v3, dalam ujinya sendiri. BroadNet menyajikan model itu sebagai BroadNet Transcribe Arabic. Katalog juga menyebut Whisper large-v3 di-benchmark sebagai cadangan.
Model dokumen, embedding, dan gambar mana yang kalah?
OCR dan parsing dokumen
- LlamaParse, API yang selama ini dipakai, mencetak 16,6 pada subset OmniDocBench milik BroadNet. BroadNet mencoretnya karena “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (Terjemahan BroadRouter: tabelnya hilang, dan self-hosting 98% lebih murah per 1.000 halaman).
- olmOCR-2, HunyuanOCR, GOT-OCR 2.0, dan Nanonets OCR2 dievaluasi lalu dicoret; Nanonets karena syarat lisensi. dots.mocr dipertahankan sebagai pilihan produksi karena bisa mem-parsing sekaligus mendeskripsikan gambar, meskipun PaddleOCR-VL 1.6 mencetak skor lebih tinggi (94,74 berbanding 86,81).
Embedding
- gemini-embedding-2 dicoret untuk bahasa Arab setelah mengalami regresi dibandingkan gemini-embedding-001 (0,767 berbanding 0,824 pada benchmark retrieval BroadNet).
- nomic-embed-text v1.5, solusi sebelumnya, mencetak 0,468 secara keseluruhan dan 0,130 untuk bahasa Arab, lalu dipensiunkan.
- Octen 8B, Harrier 0.6B, dan Nemotron Embed 1B disajikan lalu dicoret pada trafik bahasa Arab nyata, “where our podium held despite their public-board wins” (Terjemahan BroadRouter: di mana podium kami bertahan meski mereka menang di leaderboard publik).
BroadNet menambahkan satu temuan yang lebih berpengaruh daripada pilihan model: instruksi kueri yang spesifik untuk beban kerja menggeser kualitas retrieval (nDCG) sebesar 0,048, lebih besar daripada beralih dari model embedding 4B ke 8B.
Pembuatan gambar dan keamanan
- Cosmos3 Super 64B dan HunyuanImage 3.0 80B dicoret karena kecocokan hardware dan syarat lisensi.
- openai/privacy-filter 1.5B menangkap 100% kredensial tetapi 0% angka gaji dalam korpus kebocoran BroadNet, sehingga dicoret sebagai firewall.
Apa yang bisa dipelajari dari penolakan ini?
Empat pelajaran berlaku di luar stack BroadNet sendiri:
- Uji pekerjaannya, bukan leaderboard-nya. Beberapa model embedding yang menang di leaderboard publik kalah pada trafik bahasa Arab nyata.
- Keamanan adalah gerbang tersendiri. Model yang cepat dan mampu tetap bisa gagal dalam uji kredensial. Jalankan uji semacam itu sebelum sebuah model melihat rahasia; metode evaluasi BroadNet bisa menjadi titik awal.
- Lisensi menentukan apa yang bisa disajikan. Model nonkomersial seperti Voxtral 4B TTS dan Higgs Audio v3 muncul di katalog hanya sebagai batas atas kualitas.
- Pilihan penyajian juga diukur. Format kuantisasi dan metode drafting dicoret berdasarkan angka perbandingan langsung, bukan secara default. Lihat hardware GPU dan pendekatan penyajian BroadNet.
Setiap angka di sini berasal dari lab dan trafik satu perusahaan. Gunakan sebagai daftar pendek hal yang perlu diuji, lalu evaluasi dengan data Anda sendiri sebelum beralih. Baris yang dicoret atau hanya di-benchmark juga bukan model yang bisa Anda panggil; membaca katalog model menjelaskan cara membedakan entri live, atas permintaan, dan riset.
