Danh mục model của BroadNet liệt kê mọi model mà BroadNet cho biết đã chạy, benchmark, lượng tử hóa hoặc fine-tune trên phần cứng riêng, và đánh dấu những model bị loại kèm lý do. Khoảng 30 model và phương pháp mang nhãn RULED OUT (bị loại). Các số liệu dưới đây được đo trong phòng lab của BroadNet vào tháng 9 năm 2026; đó là kết quả của BroadNet, không phải của chúng tôi.
Danh mục dùng sáu nhãn: PROD (đã chạy traffic thật), SERVED (theo lời danh mục, “ran on our fleet” (bản dịch: đã chạy trên hạ tầng của chúng tôi)), BENCH (đã benchmark), QUANT (BroadNet tự lượng tử hóa), FT (BroadNet đã fine-tune) và RULED OUT (bị loại).
BroadNet đã loại những model chat nào?
| Model | BroadNet đã làm gì | Vì sao bị loại |
|---|---|---|
| Qwen3.5 35B A3B (AWQ 4-bit) | Phục vụ như một tầng tốc độ, khoảng 164 tokens/s | Không đạt bộ kiểm tra an toàn thông tin xác thực của BroadNet cho vai trò bảo mật |
| GLM 4.7 Flash (AWQ) | Phục vụ thử nghiệm | Nhãn là SERVED, không phải RULED OUT: BroadNet cho biết nó bị loại khỏi vai trò bảo mật do bộ kiểm tra an toàn thông tin xác thực và bị giữ dưới mức production |
| Nemotron 3 Nano 30B A3B (NVFP4) | Phục vụ với parser suy luận tùy chỉnh | Nhãn là SERVED, không phải RULED OUT: BroadNet cho biết nó bị loại khỏi vai trò bảo mật do bộ kiểm tra an toàn thông tin xác thực và bị giữ dưới mức production |
| Qwen3.6 35B A3B | Phục vụ trên RTX 5090 và GB10 | Thua Gemma 4 26B ở vị trí chatbot |
| Gemma 4 E4B (AWQ INT4) | Phục vụ trên GB10 dưới dạng đồng thuê, khoảng 94 tokens/s | Thua Gemma 4 26B ở vị trí chatbot |
| Gemma 4 26B A4B NVFP4 (ba nhà phát hành) | Đánh giá lượng tử hóa | Bị thay bằng AWQ sau khi so trực tiếp trên GPU sm_120 và sm_121 |
| Speculative decoding EAGLE3 | Thử cho phục vụ ở mức bão hòa | Mất 69% thông lượng ở 32 request đồng thời; giữ lại các drafter dự đoán nhiều token |
Quy luật này quan trọng với bất kỳ ai đang chọn model mở. Ba trường hợp bị loại là vì an toàn, không phải chất lượng: model đủ nhanh nhưng lặp lại thông tin xác thực. Đó là kiểu thất bại mà nghiên cứu Safety Map của BroadNet thấy nhiều nhất ở các model mixture-of-experts có ít tham số kích hoạt. Model giành vị trí chatbot, Gemma 4 26B A4B, chính là model BroadNet bán dưới tên Gemma 4 VL 26B.
Những model giọng nói nào bị loại?
| Model | Vì sao bị loại |
|---|---|
| Gemma 4 E2B, Gemma 4 12B (làm model chép lời) | Giữ lại biến thể âm thanh E4B |
| Omnilingual ASR 300M, 1B, 3B và các biến thể CTC (Meta) | Biến thể 7B giành vị trí |
| Voxtral Mini 3B / 4B Realtime (Mistral) | Bị loại cho tiếng Ả Rập |
| ArTSTv3 (dòng MBZUAI) | Bị loại ở vị trí tiếng Ả Rập; giữ Cohere Transcribe Arabic |
| FireRedVAD, DeepFilterNet, BNR (front-end) | Chọn Silero voice activity detection sau khi so trực tiếp |
BroadNet cho biết model được giữ lại, Cohere Transcribe Arabic 07-2026, đạt tỷ lệ lỗi từ 21,1 trên giọng nói phương ngữ MASC, so với 22,3 của ElevenLabs Scribe v2 và 31,5 của Whisper large-v3, trong bài kiểm tra riêng của họ. BroadNet phục vụ model này dưới tên BroadNet Transcribe Arabic. Danh mục cũng cho biết Whisper large-v3 được benchmark làm phương án dự phòng.
Những model tài liệu, embedding và hình ảnh nào bị vượt mặt?
OCR và phân tích tài liệu
- LlamaParse, API đang dùng trước đó, đạt 16,6 trên tập con OmniDocBench của BroadNet. BroadNet loại nó vì “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (bản dịch: nó làm mất bảng, và tự host rẻ hơn 98% cho mỗi 1.000 trang).
- olmOCR-2, HunyuanOCR, GOT-OCR 2.0 và Nanonets OCR2 được đánh giá và bị loại; Nanonets vì điều khoản giấy phép. dots.mocr được giữ làm lựa chọn production vì nó vừa phân tích vừa mô tả được hình, dù PaddleOCR-VL 1.6 đạt điểm cao hơn (94,74 so với 86,81).
Embedding
- gemini-embedding-2 bị loại cho tiếng Ả Rập sau khi kém hơn gemini-embedding-001 (0,767 so với 0,824 trên benchmark truy xuất của BroadNet).
- nomic-embed-text v1.5, model đang dùng trước đó, đạt 0,468 tổng thể và 0,130 với tiếng Ả Rập, và đã bị cho nghỉ.
- Octen 8B, Harrier 0.6B và Nemotron Embed 1B được phục vụ rồi bị loại trên traffic tiếng Ả Rập thật, “where our podium held despite their public-board wins” (bản dịch: nơi nhóm dẫn đầu của chúng tôi vẫn giữ vững dù chúng thắng trên bảng công khai).
BroadNet bổ sung một phát hiện còn quan trọng hơn việc chọn model: một chỉ dẫn truy vấn riêng cho khối lượng công việc làm chất lượng truy xuất (nDCG) thay đổi 0,048, nhiều hơn cả việc chuyển từ model embedding 4B lên 8B.
Tạo ảnh và an toàn
- Cosmos3 Super 64B và HunyuanImage 3.0 80B bị loại vì độ vừa phần cứng và điều khoản giấy phép.
- openai/privacy-filter 1.5B bắt được 100% thông tin xác thực nhưng 0% số liệu lương trong bộ dữ liệu rò rỉ của BroadNet, nên bị loại khỏi vai trò tường lửa.
Có thể học được gì từ những lần loại bỏ?
Bốn bài học đúng cả ngoài hệ thống của BroadNet:
- Kiểm tra công việc, không phải bảng xếp hạng. Nhiều model embedding thắng trên bảng công khai đã thua trên traffic tiếng Ả Rập thật.
- An toàn là một cổng riêng. Một model nhanh, giỏi vẫn có thể trượt bài kiểm tra thông tin xác thực. Hãy chạy một bài kiểm tra trước khi model nhìn thấy bí mật; phương pháp đánh giá của BroadNet là một điểm khởi đầu.
- Giấy phép quyết định thứ gì được phục vụ. Model phi thương mại như Voxtral 4B TTS và Higgs Audio v3 chỉ xuất hiện trong danh mục như mức trần chất lượng.
- Lựa chọn cách phục vụ cũng được đo. Định dạng lượng tử hóa và phương pháp drafting bị loại dựa trên số liệu so trực tiếp, không phải theo mặc định. Xem phần cứng GPU và cách phục vụ của BroadNet.
Mọi con số ở đây đến từ phòng lab và traffic của một công ty. Hãy dùng chúng như danh sách rút gọn những gì cần thử, rồi đánh giá trên dữ liệu của bạn trước khi đổi. Một dòng bị loại hoặc chỉ benchmark cũng không phải thứ bạn gọi được qua API; cách đọc danh mục model giải thích cách phân biệt mục đang chạy, theo yêu cầu và nghiên cứu.
