BroadRouter

Model yang dinilai dan ditolak oleh BroadNet, dan sebabnya

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan · Dikemas kini

Katalog model BroadNet menandakan kira-kira 30 model dan kaedah sebagai ditolak selepas diuji dalam makmalnya. Kebanyakan sebabnya terbahagi kepada lima kumpulan: model kalah kepada model lebih kuat untuk tugas yang sama, get keselamatan kelayakan, lesen yang menghalang penyajian API, format kuantisasi yang kalah dalam perbandingan bersemuka, dan kemerosotan bahasa Arab. Semua keputusan ialah ukuran BroadNet sendiri dari September 2026.

Katalog model BroadNet menyenaraikan setiap model yang dikatakannya telah dijalankan, diuji tanda aras, dikuantisasi atau ditala halus pada perkakasannya sendiri, dan menandakan model yang ditolaknya beserta sebab. Kira-kira 30 model dan kaedah membawa label RULED OUT. Angka di bawah diukur dalam makmal BroadNet pada September 2026; ia keputusan BroadNet, bukan keputusan kami.

Katalog menggunakan enam label: PROD (membawa trafik langsung), SERVED (dalam kata-kata katalog itu, “ran on our fleet” (Terjemahan: berjalan pada armada kami)), BENCH (diuji tanda aras), QUANT (BroadNet menghasilkan kuantisasinya), FT (BroadNet menala halusnya) dan RULED OUT.

Model chat manakah yang ditolak oleh BroadNet?

Model Apa yang dilakukan BroadNet Mengapa ia ditolak
Qwen3.5 35B A3B (AWQ 4-bit) Disajikan sebagai peringkat kelajuan, kira-kira 164 token/s Gagal bateri ujian keselamatan kelayakan BroadNet untuk peranan keselamatan
GLM 4.7 Flash (AWQ) Disajikan secara eksperimen Berlabel SERVED, bukan RULED OUT: BroadNet menyatakan ia ditolak untuk peranan keselamatan oleh bateri ujian keselamatan kelayakannya dan ditahan di bawah tahap pengeluaran
Nemotron 3 Nano 30B A3B (NVFP4) Disajikan dengan penghurai penaakulan tersuai Berlabel SERVED, bukan RULED OUT: BroadNet menyatakan ia ditolak untuk peranan keselamatan oleh bateri ujian keselamatan kelayakannya dan ditahan di bawah tahap pengeluaran
Qwen3.6 35B A3B Disajikan pada RTX 5090 dan GB10 Kalah slot chatbot kepada Gemma 4 26B
Gemma 4 E4B (AWQ INT4) Disajikan pada GB10 sebagai penyewa bersama, kira-kira 94 token/s Kalah slot chatbot kepada Gemma 4 26B
Gemma 4 26B A4B NVFP4 (tiga penerbit) Kuantisasi dinilai Diberhentikan dan digantikan AWQ selepas perbandingan bersemuka pada GPU sm_120 dan sm_121
Penyahkodan spekulatif EAGLE3 Diuji untuk penyajian tepu Mengurangkan 69% daya pemprosesan pada 32 permintaan serentak; drafter ramalan berbilang token dikekalkan

Coraknya penting bagi sesiapa yang memilih model terbuka. Tiga daripada penolakan itu berkaitan keselamatan, bukan kualiti: model yang cukup laju tetapi mengulang kelayakan. Itulah mod kegagalan yang paling kerap ditemui oleh kajian Safety Map BroadNet dalam model mixture-of-experts yang kecil parameter aktifnya. Model yang memenangi slot chatbot, Gemma 4 26B A4B, ialah model yang dijual BroadNet sebagai Gemma 4 VL 26B.

Model pertuturan manakah yang ditolak?

Model Mengapa ia ditolak
Gemma 4 E2B, Gemma 4 12B (sebagai transkriber) Varian audio E4B dikekalkan
Omnilingual ASR 300M, 1B, 3B dan varian CTC (Meta) Varian 7B memenangi slot
Voxtral Mini 3B / 4B Realtime (Mistral) Ditolak untuk bahasa Arab
ArTSTv3 (keturunan MBZUAI) Ditolak untuk slot bahasa Arab; Cohere Transcribe Arabic dikekalkan
FireRedVAD, DeepFilterNet, BNR (bahagian hadapan) Pengesanan aktiviti suara Silero diguna pakai selepas perbandingan bersemuka

BroadNet melaporkan bahawa model yang dikekalkannya, Cohere Transcribe Arabic 07-2026, mencatat kadar ralat perkataan 21.1 pada pertuturan dialek MASC, berbanding 22.3 untuk ElevenLabs Scribe v2 dan 31.5 untuk Whisper large-v3, dalam ujiannya sendiri. Ia menyajikan model itu sebagai BroadNet Transcribe Arabic. Katalog juga menyatakan Whisper large-v3 diuji tanda aras sebagai sandaran.

Model dokumen, embedding dan imej manakah yang kalah?

OCR dan penghuraian dokumen

  • LlamaParse, API penyandang, mencatat 16.6 pada subset OmniDocBench BroadNet. BroadNet menolaknya kerana “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (Terjemahan: ia kehilangan jadual, dan hos sendiri 98% lebih murah bagi setiap 1,000 halaman).
  • olmOCR-2, HunyuanOCR, GOT-OCR 2.0 dan Nanonets OCR2 dinilai dan ditolak; Nanonets atas syarat lesen. dots.mocr dikekalkan sebagai pilihan pengeluaran kerana ia boleh menghurai dan menerangkan rajah, walaupun PaddleOCR-VL 1.6 mencatat skor lebih tinggi (94.74 berbanding 86.81).

Embedding

  • gemini-embedding-2 ditolak untuk bahasa Arab selepas ia merosot berbanding gemini-embedding-001 (0.767 berbanding 0.824 pada penanda aras dapatan semula BroadNet).
  • nomic-embed-text v1.5, bekas penyandang, mencatat 0.468 secara keseluruhan dan 0.130 untuk bahasa Arab, lalu diberhentikan.
  • Octen 8B, Harrier 0.6B dan Nemotron Embed 1B disajikan dan ditolak pada trafik bahasa Arab sebenar, “where our podium held despite their public-board wins” (Terjemahan: di mana podium kami kekal walaupun mereka menang di papan awam).

BroadNet menambah satu dapatan yang lebih penting daripada pilihan model: arahan pertanyaan khusus beban kerja menggerakkan kualiti dapatan semula (nDCG) sebanyak 0.048, lebih besar daripada beralih daripada model embedding 4B kepada 8B.

Penjanaan imej dan keselamatan

  • Cosmos3 Super 64B dan HunyuanImage 3.0 80B ditolak atas kesesuaian perkakasan dan syarat lesen.
  • openai/privacy-filter 1.5B menangkap 100% kelayakan tetapi 0% angka gaji dalam korpus kebocoran BroadNet, jadi ia ditolak sebagai tembok api.

Apakah yang boleh anda pelajari daripada penolakan ini?

Empat pengajaran kekal benar di luar timbunan BroadNet sendiri:

  1. Uji tugasnya, bukan papan pendahulu. Beberapa model embedding yang menang di papan awam kalah pada trafik bahasa Arab sebenar.
  2. Keselamatan ialah get yang berasingan. Model yang laju dan berkebolehan masih boleh gagal ujian kelayakan. Jalankan satu ujian sebelum model melihat rahsia; kaedah penilaian BroadNet ialah titik permulaan.
  3. Lesen menentukan apa yang boleh disajikan. Model bukan komersial seperti Voxtral 4B TTS dan Higgs Audio v3 hanya muncul dalam katalog sebagai siling kualiti.
  4. Pilihan penyajian juga diukur. Format kuantisasi dan kaedah drafting ditolak berdasarkan angka perbandingan bersemuka, bukan secara lalai. Lihat perkakasan GPU dan pendekatan penyajian BroadNet.

Setiap angka di sini datang daripada makmal dan trafik satu syarikat. Gunakannya sebagai senarai pendek perkara untuk diuji, kemudian nilai pada data anda sendiri sebelum bertukar. Baris yang ditolak atau sekadar diuji tanda aras juga bukan sesuatu yang boleh anda panggil; membaca katalog model menerangkan cara membezakan entri langsung, atas permintaan dan penyelidikan.

Soalan lazim

Mengapakah BroadNet menerbitkan model yang ditolaknya?

Katalognya menyatakan ia menerbitkan "what we rule out as carefully as what we ship" (Terjemahan: apa yang kami tolak dengan teliti sama seperti apa yang kami lancarkan), supaya pembeli dapat melihat alasan di sebalik setiap cadangan. Penolakan yang disertai sebab ialah bukti yang boleh anda uji pada beban kerja anda sendiri.

Adakah "ditolak" bermakna model itu teruk?

Tidak. Kebanyakan penolakan adalah untuk satu slot dalam saluran paip BroadNet sendiri, pada persediaan dan trafik yang dilaporkan oleh BroadNet. Qwen3.6 35B A3B dan Gemma 4 E4B kalah slot chatbot kepada Gemma 4 26B; model itu mungkin masih sesuai untuk tugas anda.

Apakah itu bateri ujian keselamatan kelayakan?

Ujian BroadNet sama ada sesuatu model mengulang kelayakan (credentials) yang dilihatnya, berdasarkan kaedah penilaian data sensitif yang diterbitkannya. Model yang gagal ditahan di bawah tahap pengeluaran untuk peranan keselamatan.

Mengapakah lesen menyebabkan model ditolak?

Sesetengah model yang kuat, seperti Voxtral 4B TTS dan Higgs Audio v3, adalah bukan komersial, jadi BroadNet hanya mengujinya sebagai siling kualiti dan tidak boleh menyajikannya melalui API berbayar.

Adakah model yang ditolak tersedia di BroadNet Inference?

Tidak. API ini menjual enam model, dan tiga lagi tersedia atas permintaan. Model yang ditanda ditolak tidak ditawarkan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity