BroadRouter

Mga model na sinubukan at tinanggihan ng BroadNet, at bakit

Ng BroadNet Inference team · 4 minutong basa · Nailathala · Na-update

Mga 30 model at method ang minarkahang ruled out ng catalogue ng BroadNet matapos i-test sa lab nito. Karamihan sa mga dahilan ay nasa limang grupo: natalo sa mas malakas na model para sa parehong trabaho, credential-safety gate, lisensyang humaharang sa API serving, quantisation format na natalo sa head-to-head, at paghina sa Arabic. Sariling sukat ng BroadNet ang lahat ng resulta, mula Setyembre 2026.

Inililista ng model catalogue ng BroadNet ang bawat model na sinasabi nitong napatakbo, na-benchmark, na-quantise o na-fine-tune nito sa sarili nitong hardware, at minamarkahan ang mga tinanggihan nito kasama ang dahilan. Mga 30 model at method ang may label na RULED OUT. Sinukat sa lab ng BroadNet ang mga numero sa ibaba noong Setyembre 2026; resulta ito ng BroadNet, hindi namin.

Anim na label ang ginagamit ng catalogue: PROD (nagdala ng live traffic), SERVED (sa mga salita ng catalogue, “ran on our fleet” (salin: tumakbo sa aming fleet)), BENCH (na-benchmark), QUANT (BroadNet ang gumawa ng quantisation), FT (fine-tune ng BroadNet) at RULED OUT.

Aling mga chat model ang na-rule out ng BroadNet?

Model Ano ang ginawa ng BroadNet Bakit na-rule out
Qwen3.5 35B A3B (AWQ 4-bit) Pinatakbo bilang speed tier, mga 164 token/s Bumagsak sa credential-safety battery ng BroadNet para sa mga security role
GLM 4.7 Flash (AWQ) Pinatakbo bilang eksperimento Label na SERVED, hindi RULED OUT: sabi ng BroadNet, na-rule out ito para sa mga security role dahil sa credential-safety battery nito at hindi itinaas sa production
Nemotron 3 Nano 30B A3B (NVFP4) Pinatakbo gamit ang custom na reasoning parser Label na SERVED, hindi RULED OUT: sabi ng BroadNet, na-rule out ito para sa mga security role dahil sa credential-safety battery nito at hindi itinaas sa production
Qwen3.6 35B A3B Pinatakbo sa RTX 5090 at GB10 Natalo sa Gemma 4 26B para sa chatbot slot
Gemma 4 E4B (AWQ INT4) Pinatakbo sa GB10 bilang co-tenant, mga 94 token/s Natalo sa Gemma 4 26B para sa chatbot slot
Gemma 4 26B A4B NVFP4 (tatlong publisher) Sinuri ang quantisation Itinigil kapalit ng AWQ matapos ang head-to-head sa mga sm_120 at sm_121 GPU
EAGLE3 speculative decoding Sinubukan para sa saturated serving Nagpabawas ng 69% ng throughput sa 32 sabay-sabay na request; pinanatili ang mga multi-token-prediction drafter

Mahalaga ang pattern para sa sinumang pumipili ng open model. Tatlo sa mga pagtanggi ay tungkol sa safety, hindi sa kalidad: mga model na sapat ang bilis pero inulit ang mga credential. Iyan ang failure mode na pinakamadalas nakita ng Safety Map study ng BroadNet sa mga mixture-of-experts model na maliit ang active parameter. Ang model na nanalo sa chatbot slot, ang Gemma 4 26B A4B, ang ibinebenta ng BroadNet bilang Gemma 4 VL 26B.

Aling mga speech model ang na-rule out?

Model Bakit na-rule out
Gemma 4 E2B, Gemma 4 12B (bilang transcriber) Ang E4B audio variant ang pinanatili
Omnilingual ASR 300M, 1B, 3B at mga CTC variant (Meta) Ang 7B variant ang nakakuha ng slot
Voxtral Mini 3B / 4B Realtime (Mistral) Na-rule out para sa Arabic
ArTSTv3 (lahi ng MBZUAI) Na-rule out para sa Arabic slot; pinanatili ang Cohere Transcribe Arabic
FireRedVAD, DeepFilterNet, BNR (mga front-end) Ginamit ang Silero voice activity detection matapos ang head-to-head

Iniulat ng BroadNet na ang model na pinanatili nito, ang Cohere Transcribe Arabic 07-2026, ay may 21.1 na word error rate sa MASC dialect speech, laban sa 22.3 ng ElevenLabs Scribe v2 at 31.5 ng Whisper large-v3, sa sarili nitong test. Pinapatakbo nito ang model na iyon bilang BroadNet Transcribe Arabic. Sabi rin ng catalogue, na-benchmark ang Whisper large-v3 bilang fallback.

Aling mga document, embedding at image model ang natalo?

OCR at document parsing

  • LlamaParse, ang incumbent na API, ay nakakuha ng 16.6 sa OmniDocBench subset ng BroadNet. Na-rule out ito ng BroadNet dahil “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (salin: nawawala ang mga table, at 98% mas mura kada 1,000 page ang self-hosting).
  • Sinuri at na-rule out ang olmOCR-2, HunyuanOCR, GOT-OCR 2.0 at Nanonets OCR2; ang Nanonets ay dahil sa lisensya. Pinanatili ang dots.mocr bilang production pick dahil kaya nitong mag-parse at maglarawan ng mga figure, kahit mas mataas ang score ng PaddleOCR-VL 1.6 (94.74 laban sa 86.81).

Embeddings

  • Na-rule out ang gemini-embedding-2 para sa Arabic matapos itong humina kumpara sa gemini-embedding-001 (0.767 laban sa 0.824 sa retrieval benchmark ng BroadNet).
  • Ang nomic-embed-text v1.5, ang dating incumbent, ay nakakuha ng 0.468 sa kabuuan at 0.130 sa Arabic, at itinigil na.
  • Pinatakbo at na-rule out ang Octen 8B, Harrier 0.6B at Nemotron Embed 1B sa totoong Arabic na traffic, “where our podium held despite their public-board wins” (salin: kung saan nanatili ang aming podium sa kabila ng kanilang panalo sa public board).

May isang natuklasan pang idinagdag ang BroadNet na mas mabigat pa sa pagpili ng model: ang query instruction na espesipiko sa workload ay nagpagalaw sa kalidad ng retrieval (nDCG) nang 0.048, mas malaki pa kaysa sa paglipat mula 4B patungong 8B na embedding model.

Image generation at safety

  • Na-rule out ang Cosmos3 Super 64B at HunyuanImage 3.0 80B dahil sa pagkakasya sa hardware at sa lisensya.
  • Nahuli ng openai/privacy-filter 1.5B ang 100% ng mga credential pero 0% ng mga numero ng sahod sa leak corpus ng BroadNet, kaya na-rule out ito bilang firewall.

Ano ang matututunan mo sa mga pagtanggi?

Apat na aral ang totoo kahit lampas sa sariling stack ng BroadNet:

  1. I-test ang trabaho, hindi ang leaderboard. Ilang embedding model na may panalo sa public board ang natalo sa totoong Arabic na traffic.
  2. Hiwalay na gate ang safety. Puwede pa ring bumagsak sa credential test ang mabilis at mahusay na model. Magpatakbo ng isa bago makakita ng secret ang model; magandang simula ang paraan ng evaluation ng BroadNet.
  3. Lisensya ang nagpapasya kung ano ang puwedeng i-serve. Lumalabas lang sa catalogue bilang quality ceiling ang mga non-commercial na model gaya ng Voxtral 4B TTS at Higgs Audio v3.
  4. Sinusukat din ang mga desisyon sa serving. Na-rule out ang mga quantisation format at drafting method batay sa numero ng head-to-head, hindi bilang default. Tingnan ang GPU hardware at paraan ng serving ng BroadNet.

Galing sa lab at traffic ng iisang kompanya ang bawat numero rito. Gamitin ito bilang shortlist ng dapat i-test, saka mag-evaluate sa sarili mong data bago lumipat. Hindi rin matatawag sa API ang row na ruled out o benchmarked; ipinapaliwanag ng pagbasa ng model catalogue kung paano makikilala ang live, on-request at research na mga entry.

Mga tanong

Bakit inilalathala ng BroadNet ang mga model na tinatanggihan nito?

Sabi ng catalogue nito, inilalathala nito ang "what we rule out as carefully as what we ship" (salin: ang tinatanggihan namin nang kasing-ingat ng inilalabas namin), para makita ng mga buyer ang dahilan sa likod ng bawat rekomendasyon. Ang pagtanggi na may dahilan ay ebidensyang puwede mong i-test sa sarili mong workload.

Ibig bang sabihin ng "ruled out" ay pangit ang model?

Hindi. Karamihan sa mga pagtanggi ay para sa isang slot sa sariling pipeline ng BroadNet, sa setup at traffic na iniuulat ng BroadNet. Natalo ang Qwen3.6 35B A3B at Gemma 4 E4B sa Gemma 4 26B para sa chatbot slot; puwede pa rin silang bumagay sa trabaho mo.

Ano ang credential-safety battery?

Ito ang test ng BroadNet kung inuulit ng model ang mga credential na nakikita nito, batay sa inilathala nitong paraan ng sensitive-data evaluation. Ang mga model na bumabagsak ay hindi itinataas sa production para sa mga security role.

Bakit nare-rule out ng lisensya ang ilang model?

Non-commercial ang ilang malalakas na model, gaya ng Voxtral 4B TTS at Higgs Audio v3, kaya bine-benchmark lang sila ng BroadNet bilang quality ceiling at hindi nito sila maipapatakbo sa bayad na API.

Available ba sa BroadNet Inference ang mga ruled-out na model?

Hindi. Anim na model ang ibinebenta ng API, at tatlo pa ang available kapag hiniling. Hindi iniaalok ang mga model na may markang ruled out.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity