BroadRouter

BroadNet が評価して不採用にしたモデルとその理由

BroadNet Inference チーム · 約 4 分で読めます · 公開日 · 更新日

BroadNet のモデルカタログでは、自社ラボでのテスト後、約 30 のモデルと手法が不採用とされています。理由は主に 5 つです。同じ用途でより強いモデルに負けた、認証情報の安全性テスト、API 提供を認めないライセンス、直接比較で負けた量子化形式、アラビア語での性能低下です。いずれも 2026 年 9 月の BroadNet 自身の測定です。

BroadNet のモデルカタログには、自社ハードウェアで実行、ベンチマーク、量子化、ファインチューニングしたとするすべてのモデルが掲載されており、不採用にしたものには理由が付いています。約 30 のモデルと手法に RULED OUT(不採用)のラベルが付いています。以下の数値は 2026 年 9 月に BroadNet のラボで測定されたもので、私たちではなく BroadNet の結果です。

カタログでは 6 つのラベルを使っています。PROD(本番トラフィックを処理した)、SERVED(カタログの言葉では “ran on our fleet”(訳:自社のフリートで動かした))、BENCH(ベンチマークした)、QUANT(BroadNet が量子化した)、FT(BroadNet がファインチューニングした)、RULED OUT(不採用)です。

BroadNet はどのチャットモデルを不採用にしましたか?

モデル BroadNet が行ったこと 不採用の理由
Qwen3.5 35B A3B(AWQ 4-bit) 速度重視の枠として提供、約 164 tokens/s セキュリティ用途で BroadNet の認証情報安全性テストに不合格
GLM 4.7 Flash(AWQ) 試験的に提供 ラベルは RULED OUT ではなく SERVED。BroadNet によれば認証情報安全性テストによりセキュリティ用途から外され、本番未満にとどめられた
Nemotron 3 Nano 30B A3B(NVFP4) 独自の推論(reasoning)パーサーで提供 ラベルは RULED OUT ではなく SERVED。BroadNet によれば認証情報安全性テストによりセキュリティ用途から外され、本番未満にとどめられた
Qwen3.6 35B A3B RTX 5090 と GB10 で提供 チャットボットの枠で Gemma 4 26B に負けた
Gemma 4 E4B(AWQ INT4) GB10 で同居させて提供、約 94 tokens/s チャットボットの枠で Gemma 4 26B に負けた
Gemma 4 26B A4B NVFP4(3 つの公開元) 量子化を評価 sm_120 と sm_121 の GPU での直接比較の結果、AWQ に切り替えて廃止
EAGLE3 による投機的デコーディング 高負荷時のサービングでテスト 同時 32 リクエストでスループットが 69% 低下。マルチトークン予測のドラフターを継続

このパターンは、オープンモデルを選ぶ人にとって重要です。不採用のうち 3 件は品質ではなく安全性が理由でした。速度は十分でも、認証情報を繰り返してしまうモデルです。これは、アクティブパラメータの少ない Mixture of Experts モデルで最も多く見られた失敗パターンだと、BroadNet の Safety Map の研究が報告しています。チャットボットの枠を勝ち取った Gemma 4 26B A4B は、BroadNet が Gemma 4 VL 26B として販売しているモデルです。

どの音声モデルが不採用になりましたか?

モデル 不採用の理由
Gemma 4 E2B、Gemma 4 12B(文字起こし用途) 代わりに E4B の音声版を採用
Omnilingual ASR 300M、1B、3B と CTC 版(Meta) 7B 版がその枠を獲得
Voxtral Mini 3B / 4B Realtime(Mistral) アラビア語向けとして不採用
ArTSTv3(MBZUAI 系) アラビア語の枠で不採用。Cohere Transcribe Arabic を継続
FireRedVAD、DeepFilterNet、BNR(前処理) 直接比較の結果、Silero の音声区間検出を採用

BroadNet の報告では、採用したモデル Cohere Transcribe Arabic 07-2026 は、自社のテストで MASC の方言音声に対して単語誤り率 21.1 を記録しました。ElevenLabs Scribe v2 は 22.3、Whisper large-v3 は 31.5 です。BroadNet はこのモデルを BroadNet Transcribe Arabic として提供しています。カタログによれば、Whisper large-v3 はフォールバック候補としてベンチマークされました。

選ばれなかった文書・埋め込み・画像モデルは?

OCR と文書解析

  • それまで使っていた API の LlamaParse は、BroadNet の OmniDocBench サブセットで 16.6 でした。BroadNet が不採用にした理由は “it loses tables, and self-hosting is 98% cheaper per 1,000 pages”(訳:表が失われ、セルフホストなら 1,000 ページあたり 98% 安い)です。
  • olmOCR-2、HunyuanOCR、GOT-OCR 2.0、Nanonets OCR2 は評価の結果不採用となり、Nanonets はライセンス条件が理由でした。PaddleOCR-VL 1.6 のほうがスコアは高かった(94.74 対 86.81)ものの、文書の解析と図の説明の両方ができる dots.mocr が本番用に選ばれました。

埋め込み

  • gemini-embedding-2 は gemini-embedding-001 より性能が下がった(BroadNet の検索ベンチマークで 0.767 対 0.824)ため、アラビア語向けとして不採用になりました。
  • それまで使っていた nomic-embed-text v1.5 は全体で 0.468、アラビア語で 0.130 となり、廃止されました。
  • Octen 8B、Harrier 0.6B、Nemotron Embed 1B は実際に提供したうえで、アラビア語の実トラフィックで不採用になりました。“where our podium held despite their public-board wins”(訳:公開ボードでは勝っていたにもかかわらず、私たちの上位陣は入れ替わらなかった)とのことです。

BroadNet はモデル選びより大きな影響があった知見も 1 つ挙げています。ワークロードに合わせたクエリ指示によって検索品質(nDCG)が 0.048 変わり、埋め込みモデルを 4B から 8B にした場合より大きな差になりました。

画像生成と安全性

  • Cosmos3 Super 64B と HunyuanImage 3.0 80B は、ハードウェアとの適合とライセンス条件を理由に不採用になりました。
  • openai/privacy-filter 1.5B は、BroadNet の漏えいコーパスで認証情報は 100% 検出しましたが、給与額は 0% しか検出できず、ファイアウォールとしては不採用になりました。

不採用の理由から何を学べますか?

BroadNet 自身の構成を超えて通用する教訓が 4 つあります。

  1. **リーダーボードではなく、自分の用途でテストする。**公開ボードで勝っていた埋め込みモデルのいくつかが、アラビア語の実トラフィックで負けました。
  2. **安全性は別の関門。**高速で高性能なモデルでも、認証情報のテストに落ちることがあります。モデルに秘密情報を見せる前にテストしてください。BroadNet の評価手法が出発点になります。
  3. **何を提供できるかはライセンスで決まる。**Voxtral 4B TTS や Higgs Audio v3 などの非商用モデルは、カタログでは品質の上限としてのみ登場します。
  4. **サービングの選択も測定で決める。**量子化形式やドラフト手法は、既定でではなく直接比較の数値で不採用になりました。BroadNet の GPU ハードウェアとサービングを参照してください。

ここにある数値はすべて、1 社のラボとトラフィックから得たものです。テストすべき候補リストとして使い、乗り換える前に自分のデータで評価してください。また、不採用やベンチマークのみの行は API で呼び出せるものではありません。モデルカタログの読み方で、提供中、要相談、研究用の項目の見分け方を説明しています。

よくある質問

BroadNet はなぜ不採用にしたモデルを公開しているのですか?

カタログには “what we rule out as carefully as what we ship”(訳:提供するものと同じくらい丁寧に、不採用にしたものも公開する)とあり、購入者が各推奨の根拠を確認できるようにしています。理由付きの不採用は、自分のワークロードで検証できる証拠になります。

「不採用」はモデルの性能が悪いという意味ですか?

いいえ。不採用の多くは、BroadNet 自身のパイプラインの 1 つの枠について、BroadNet が報告している環境とトラフィックで判断したものです。Qwen3.6 35B A3B と Gemma 4 E4B はチャットボットの枠で Gemma 4 26B に負けましたが、あなたの用途には合うかもしれません。

認証情報の安全性テストとは何ですか?

モデルが目にした認証情報を繰り返してしまうかどうかを調べる BroadNet のテストで、公開している機密データ評価手法に基づいています。不合格のモデルは、セキュリティ用途では本番に投入されません。

ライセンスが理由で不採用になるのはなぜですか?

Voxtral 4B TTS や Higgs Audio v3 のような強力なモデルの一部は非商用ライセンスのため、BroadNet は品質の上限としてベンチマークするだけで、有料 API では提供できません。

不採用のモデルは BroadNet Inference で使えますか?

使えません。API で販売しているのは 6 モデルで、ほかに 3 モデルが要相談で利用できます。不採用と記載されたモデルは提供されていません。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く