BroadNet 的模型目录列出了它声称在自有硬件上运行、测评、量化或微调过的每个模型,并给被淘汰的模型注明原因。约 30 个模型和方法带有 RULED OUT(淘汰)标签。下面的数据是 BroadNet 实验室在 2026 年 9 月测得的,是 BroadNet 的结果,不是我们的。
目录使用六种标签:PROD(承载过线上流量)、SERVED(用目录的原话说,“ran on our fleet”,即在其集群上运行过)、BENCH(测评过)、QUANT(BroadNet 制作了量化版本)、FT(BroadNet 微调过)和 RULED OUT(淘汰)。
BroadNet 淘汰了哪些对话模型?
| 模型 | BroadNet 做了什么 | 淘汰原因 |
|---|---|---|
| Qwen3.5 35B A3B(AWQ 4-bit) | 作为速度档部署,约 164 tokens/s | 在安全相关岗位上未通过 BroadNet 的凭据安全测试 |
| GLM 4.7 Flash(AWQ) | 试验性部署 | 标签是 SERVED,不是 RULED OUT:BroadNet 称它因凭据安全测试被排除在安全相关岗位之外,未进入生产 |
| Nemotron 3 Nano 30B A3B(NVFP4) | 配合自定义思考(reasoning)解析器部署 | 标签是 SERVED,不是 RULED OUT:BroadNet 称它因凭据安全测试被排除在安全相关岗位之外,未进入生产 |
| Qwen3.6 35B A3B | 在 RTX 5090 和 GB10 上部署 | 聊天机器人位置输给了 Gemma 4 26B |
| Gemma 4 E4B(AWQ INT4) | 在 GB10 上与其他模型共置部署,约 94 tokens/s | 聊天机器人位置输给了 Gemma 4 26B |
| Gemma 4 26B A4B NVFP4(三个发布方) | 评估了量化效果 | 在 sm_120 和 sm_121 GPU 上正面对比后,弃用并改用 AWQ |
| EAGLE3 投机解码 | 针对满载部署测试 | 在 32 个并发请求下损失 69% 的吞吐量;保留多 token 预测草稿模型 |
对于选择开源模型的人来说,这个规律很重要。其中三个淘汰与安全有关,而不是质量:模型速度够快,却会复述凭据。BroadNet 的 Safety Map 研究发现,这正是激活参数较少的混合专家(MoE)模型最常见的失败模式。赢得聊天机器人位置的 Gemma 4 26B A4B,就是 BroadNet 以 Gemma 4 VL 26B 名义销售的模型。
哪些语音模型被淘汰了?
| 模型 | 淘汰原因 |
|---|---|
| Gemma 4 E2B、Gemma 4 12B(作为转写模型) | 改为保留 E4B 音频版本 |
| Omnilingual ASR 300M、1B、3B 及 CTC 版本(Meta) | 7B 版本拿到了这个位置 |
| Voxtral Mini 3B / 4B Realtime(Mistral) | 阿拉伯语方面被淘汰 |
| ArTSTv3(源自 MBZUAI) | 阿拉伯语位置被淘汰;保留 Cohere Transcribe Arabic |
| FireRedVAD、DeepFilterNet、BNR(前端处理) | 正面对比后采用 Silero 语音活动检测 |
BroadNet 报告称,在它自己的测试中,保留下来的 Cohere Transcribe Arabic 07-2026 在 MASC 方言语音上的词错误率为 21.1,ElevenLabs Scribe v2 为 22.3,Whisper large-v3 为 31.5。它以 BroadNet Transcribe Arabic 的名义提供这个模型。目录还提到,Whisper large-v3 作为备选方案做过测评。
哪些文档、向量和图像模型落选了?
OCR 与文档解析
- LlamaParse,原先使用的 API,在 BroadNet 的 OmniDocBench 子集上得分 16.6。BroadNet 淘汰它的原因是 “it loses tables, and self-hosting is 98% cheaper per 1,000 pages”(译文:它会丢失表格,而自托管每 1,000 页便宜 98%)。
- olmOCR-2、HunyuanOCR、GOT-OCR 2.0 和 Nanonets OCR2 经评估后被淘汰;其中 Nanonets 是因为许可条款。dots.mocr 被留作生产选择,因为它既能解析文档,又能描述图表,尽管 PaddleOCR-VL 1.6 得分更高(94.74 对 86.81)。
向量(Embedding)
- gemini-embedding-2 相对 gemini-embedding-001 出现退步(在 BroadNet 的检索基准上为 0.767 对 0.824),因此在阿拉伯语方面被淘汰。
- nomic-embed-text v1.5,之前使用的模型,总分 0.468,阿拉伯语 0.130,已被弃用。
- Octen 8B、Harrier 0.6B 和 Nemotron Embed 1B 经部署后在真实阿拉伯语流量上被淘汰,“where our podium held despite their public-board wins”(译文:尽管它们在公开榜单上胜出,我们的前三名依然没有变)。
BroadNet 还补充了一个比模型选择更重要的发现:针对具体工作负载的查询指令让检索质量(nDCG)提升了 0.048,比把向量模型从 4B 换成 8B 的提升还大。
图像生成与安全
- Cosmos3 Super 64B 和 HunyuanImage 3.0 80B 因硬件适配和许可条款被淘汰。
- openai/privacy-filter 1.5B 在 BroadNet 的泄露语料中拦住了 100% 的凭据,但薪资数字一个都没拦住(0%),因此没被选作防火墙。
从这些淘汰中能学到什么?
有四点经验在 BroadNet 自己的技术栈之外同样适用:
- **测试你的任务,而不是看排行榜。**几个在公开榜单上胜出的向量模型,在真实阿拉伯语流量上落败了。
- **安全是一道单独的关卡。**又快又强的模型仍然可能在凭据测试中失败。在模型接触密钥之前先做一次测试;BroadNet 的评估方法可以作为起点。
- **许可证决定了能提供什么。**Voxtral 4B TTS 和 Higgs Audio v3 等非商用模型在目录中只作为质量上限出现。
- **部署方案也要测量。**量化格式和草稿方法是根据正面对比的数据淘汰的,而不是默认放弃。参见 BroadNet 的 GPU 硬件与部署方式。
这里的每个数字都来自一家公司的实验室和流量。把它当作一份待测试的候选清单,然后在切换之前用自己的数据评估。另外,标为淘汰或仅测评过的条目也无法调用;如何读懂模型目录说明了怎样区分线上、按需申请和研究条目。
