BroadNet의 모델 카탈로그에는 BroadNet이 자체 하드웨어에서 운영, 벤치마크, 양자화, 파인튜닝했다고 밝힌 모든 모델이 올라 있고, 탈락시킨 모델에는 이유가 붙어 있습니다. 약 30개의 모델과 기법에 RULED OUT(탈락) 레이블이 붙어 있습니다. 아래 수치는 2026년 9월 BroadNet 랩에서 측정한 것이며, 저희가 아니라 BroadNet의 결과입니다.
카탈로그는 레이블 여섯 개를 씁니다. PROD(실제 트래픽 처리), SERVED(카탈로그 표현으로 “ran on our fleet”(번역: 자사 플릿에서 구동)), BENCH(벤치마크), QUANT(BroadNet이 양자화 제작), FT(BroadNet이 파인튜닝), RULED OUT(탈락)입니다.
BroadNet은 어떤 채팅 모델을 탈락시켰나요?
| 모델 | BroadNet이 한 일 | 탈락 이유 |
|---|---|---|
| Qwen3.5 35B A3B(AWQ 4-bit) | 속도 티어로 운영, 약 164 tokens/s | 보안 역할에 대한 BroadNet의 자격 증명 안전성 테스트에서 불합격 |
| GLM 4.7 Flash(AWQ) | 실험적으로 운영 | 레이블은 RULED OUT이 아니라 SERVED. BroadNet은 자격 증명 안전성 테스트로 보안 역할에서 탈락했고 프로덕션 아래 단계에 머문다고 밝힘 |
| Nemotron 3 Nano 30B A3B(NVFP4) | 맞춤 추론(reasoning) 파서로 운영 | 레이블은 RULED OUT이 아니라 SERVED. BroadNet은 자격 증명 안전성 테스트로 보안 역할에서 탈락했고 프로덕션 아래 단계에 머문다고 밝힘 |
| Qwen3.6 35B A3B | RTX 5090과 GB10에서 운영 | 챗봇 자리를 Gemma 4 26B에 내줌 |
| Gemma 4 E4B(AWQ INT4) | GB10에서 공동 테넌트로 운영, 약 94 tokens/s | 챗봇 자리를 Gemma 4 26B에 내줌 |
| Gemma 4 26B A4B NVFP4(배포자 3곳) | 양자화 평가 | sm_120, sm_121 GPU에서 정면 비교 후 AWQ로 대체되어 퇴역 |
| EAGLE3 추측 디코딩 | 포화 상태 서빙용으로 테스트 | 동시 요청 32개에서 처리량 69% 손실. 다중 토큰 예측 드래프터는 유지 |
오픈 모델을 고르는 사람이라면 이 패턴을 눈여겨봐야 합니다. 탈락 중 세 건은 품질이 아니라 안전성 때문이었습니다. 충분히 빨랐지만 자격 증명을 반복한 모델들입니다. 이는 BroadNet의 Safety Map 연구에서 활성 파라미터가 작은 전문가 혼합(MoE) 모델에서 가장 자주 발견된 실패 유형입니다. 챗봇 자리를 차지한 Gemma 4 26B A4B는 BroadNet이 Gemma 4 VL 26B라는 이름으로 판매하는 모델입니다.
어떤 음성 모델이 탈락했나요?
| 모델 | 탈락 이유 |
|---|---|
| Gemma 4 E2B, Gemma 4 12B(전사용) | 대신 E4B 오디오 변형을 유지 |
| Omnilingual ASR 300M, 1B, 3B 및 CTC 변형(Meta) | 7B 변형이 자리를 차지 |
| Voxtral Mini 3B / 4B Realtime(Mistral) | 아랍어용으로 탈락 |
| ArTSTv3(MBZUAI 계열) | 아랍어 자리에서 탈락, Cohere Transcribe Arabic 유지 |
| FireRedVAD, DeepFilterNet, BNR(프런트엔드) | 정면 비교 후 Silero 음성 활동 감지(VAD) 채택 |
BroadNet은 자체 테스트에서 유지한 모델인 Cohere Transcribe Arabic 07-2026이 MASC 방언 음성에서 단어 오류율 21.1을 기록했고, ElevenLabs Scribe v2는 22.3, Whisper large-v3는 31.5였다고 보고합니다. BroadNet은 이 모델을 BroadNet Transcribe Arabic으로 제공합니다. 카탈로그에는 Whisper large-v3를 대체(fallback)용으로 벤치마크했다는 내용도 있습니다.
어떤 문서, 임베딩, 이미지 모델이 밀려났나요?
OCR과 문서 파싱
- 기존에 쓰던 API인 LlamaParse는 BroadNet의 OmniDocBench 부분 집합에서 16.6점을 받았습니다. BroadNet은 “it loses tables, and self-hosting is 98% cheaper per 1,000 pages”(번역: 표를 놓치고, 자체 호스팅이 1,000페이지당 98% 더 저렴하다)는 이유로 탈락시켰습니다.
- olmOCR-2, HunyuanOCR, GOT-OCR 2.0, Nanonets OCR2는 평가 후 탈락했고, Nanonets는 라이선스 조건 때문이었습니다. PaddleOCR-VL 1.6이 더 높은 점수(94.74 대 86.81)를 받았지만, 파싱과 그림 설명을 모두 하는 dots.mocr가 프로덕션용으로 채택되었습니다.
임베딩
- gemini-embedding-2는 gemini-embedding-001보다 성능이 떨어져(BroadNet 검색 벤치마크에서 0.767 대 0.824) 아랍어용으로 탈락했습니다.
- 이전에 쓰던 nomic-embed-text v1.5는 전체 0.468, 아랍어 0.130을 기록해 퇴역했습니다.
- Octen 8B, Harrier 0.6B, Nemotron Embed 1B는 운영해 본 뒤 실제 아랍어 트래픽에서 탈락했습니다. “where our podium held despite their public-board wins”(번역: 이들이 공개 리더보드에서 이겼음에도 우리 상위권은 유지되었다).
BroadNet은 모델 선택보다 영향이 컸던 발견 하나를 덧붙입니다. 워크로드에 맞춘 쿼리 지시문이 검색 품질(nDCG)을 0.048 바꿨는데, 이는 4B 임베딩 모델에서 8B로 바꾼 것보다 큰 차이였습니다.
이미지 생성과 안전성
- Cosmos3 Super 64B와 HunyuanImage 3.0 80B는 하드웨어 적합성과 라이선스 조건 때문에 탈락했습니다.
- openai/privacy-filter 1.5B는 BroadNet의 유출 코퍼스에서 자격 증명은 100% 잡았지만 급여 수치는 0%를 잡아, 방화벽 용도에서 탈락했습니다.
탈락 사례에서 무엇을 배울 수 있나요?
BroadNet 자체 스택을 넘어서도 통하는 교훈 네 가지입니다.
- 리더보드가 아니라 작업을 테스트하세요. 공개 리더보드에서 이긴 여러 임베딩 모델이 실제 아랍어 트래픽에서는 졌습니다.
- 안전성은 별도의 관문입니다. 빠르고 유능한 모델도 자격 증명 테스트에서 떨어질 수 있습니다. 모델이 비밀 정보를 보기 전에 테스트를 돌리세요. BroadNet의 평가 방법이 출발점이 될 수 있습니다.
- 무엇을 제공할 수 있는지는 라이선스가 정합니다. Voxtral 4B TTS, Higgs Audio v3 같은 비상업용 모델은 카탈로그에 품질 상한선으로만 등장합니다.
- 서빙 방식도 측정 대상입니다. 양자화 형식과 드래프팅 기법은 기본값이 아니라 정면 비교 수치로 탈락했습니다. BroadNet의 GPU 하드웨어와 서빙 방식을 참고하세요.
여기 나온 모든 수치는 한 회사의 랩과 트래픽에서 나왔습니다. 무엇을 테스트할지 정하는 후보 목록으로 쓰고, 전환하기 전에 자신의 데이터로 평가하세요. 탈락이나 벤치마크로 표시된 행은 호출할 수 있는 모델도 아닙니다. 운영 중, 문의 시 제공, 연구용 항목을 구분하는 방법은 모델 카탈로그 읽는 법에서 설명합니다.
