BroadRouter

Gemma 4 26B での Uno:BroadNet の Mixture of Experts 研究

BroadNet Inference チーム · 約 3 分で読めます · 公開日 · 更新日

BroadNet の 2026 年 9 月のプレプリント(DOI 10.5281/zenodo.22820511)は、4-bit で提供する MoE モデル Gemma 4 26B A4B 向けに初めて Uno アダプターを学習させました。72 件の本番プロンプトで通常デコードの 1.166 倍と、2 つの独立ドラフターの 1.474 倍・1.553 倍に及びませんが、約 10,500 トークンの文脈では本番ドラフターを上回りました。

BroadNet の 2 本目の Uno プレプリントは、自己ドラフト(self-drafting)を初めて Mixture of Experts モデルに適用したものです。2026 年 9 月 18 日に DOI 10.5281/zenodo.22820511 で Zenodo に公開され、Gemma 4 26B A4B を 4-bit で提供し、そのための Uno アダプターを学習させています。対象モデルは、BroadNet Inference の BroadNet Gemma 4 VL 26B と同じベースモデルです。

これは、密な 8B モデルを検証した vLLM での Uno サービング研究の続編です。以下の数値は BroadNet のもので、当サイトでは再現していません。

何を明らかにしようとしたのですか?

投機的デコーディングは、複数のトークンを下書きし、1 回のパスでまとめて検証します。Mixture of Experts モデルには追加の懸念があります。ドラフトの各行が別々のエキスパートにルーティングされる可能性があるため、4 トークンを下書きすると、1 トークンを生成するよりはるかに多くのエキスパートの重みを読むかもしれません。論文は、この「エキスパートのファンアウト」で自己ドラフトのコストが高くなりすぎないか、そして自己ドラフトが独立したドラフターに勝つのはいつかを問うています。

BroadNet はどう検証したのですか?

論文の要旨と BroadNet の手法の説明によると、次のとおりです。

  • モデル: Gemma 4 26B A4B。トークンあたりのアクティブパラメーターは約 4B、重みは 4-bit。
  • ハードウェア: 24 GB クラスの GPU、1 度に 1 シーケンス。
  • ワークロード: BroadNet の本番トラフィックから取った 72 件のプロンプト。各高速化率は、同じセッションの通常デコードの結果で割っています。
  • 長い文脈: 約 10,500 トークンのプロンプト 5 件からなる別セット。
  • アダプター: ランク 16。965 行で、提供時と同じ 4-bit チェックポイントを通して、24 GB の GPU 1 枚で学習。ループ内でフル精度の重みは一切使っていません。

何がわかったのですか?

Gemma 4 26B A4B のデコード方法 通常デコードに対する高速化
通常デコード 1.000
Uno パイロットアダプター、幅 4 1.166
マルチトークン予測ドラフター、幅 2 1.474
ブロックドラフター、幅 8 1.553
約 10,500 トークンの文脈での Uno 1.089(MTP ドラフター:1.011)

BroadNet が報告しているその他の結果:

  • 学習は効果があった。 1,500 回の更新で受理率は 42.4% から 48.9% に上がり、同じレシピで学習した、より大きな 2,000 行のコーパスでは、条件をそろえたアンカー実行より検証ステップあたりの受理ドラフトトークンが 0.49 増えました。
  • エキスパートのファンアウトは実在するが安い。 4 行のドラフトは 22 個の異なるエキスパートに触れ、1 行では 8 個でしたが、行に関するコスト全体は約 2.4 ステップのサイクルのうち 0.53 ステップ以内に収まりました。BroadNet は、このクラスのハードウェアではルーティングのコストは “worth under a fifth of a cycle”(訳:1 サイクルの 5 分の 1 未満)だと結論づけています。
  • ロスレス。 通常出力自体がセッション間で再現しないプロファイルに対して BroadNet は専用のチェックを作り、Uno は “as close to plain as plain is to itself”(訳:通常デコードが自分自身と一致するのと同程度に通常デコードと一致する)と報告しています。
  • 5 言語。 論文は、このアダプターの受理率を 5 言語にわたって測定した初の結果だとしています。

実際には何を意味しますか?

論文自身のルールは単純です。モデルに優れた小さなドラフターがあればそれを使い、自己ドラフトは長い文脈と、ドラフターのないモデルで真価を発揮します。これは BroadNet が実際に運用していると述べている内容と一致します。同社のカタログでは、Gemma 4 26B は本番でマルチトークン予測ドラフター(k=2)を使い、“90%+ acceptance on structured prompts”(訳:構造化プロンプトで 90% 以上の受理率)とされています。

本番でドラフターはどれだけ効くのでしょうか。BroadNet のカタログによると、マルチトークン予測は RTX 3090 で 48.8% の向上をもたらし、Gemma 4 VL 26B のページでは投機的デコーディング有効時のシングルストリームで毎秒約 136 トークンとされています。どちらも BroadNet 自身の測定で、モデルページに記載のサービング構成によるものなので、API 経由で得られる速度は負荷や、プロンプトと回答の長さにも左右されます。

API の購入者にとって役立つのは、アダプターではなく手法です。BroadNet によれば、提供するすべてのモデルは顧客に届く前にこの計算を経ます。ドラフト 1 サイクルのコストを測り、実際のワークロードで勝つドラフターを選ぶ、というものです。同じ規律から、飽和状態のサービングでは EAGLE3 を除外しています。

限界は何ですか?

  • シングルストリームのみ。 1 度に 1 シーケンス、各条件 1 回の実行です。密モデルの研究が示したとおり、バッチでのサービングは挙動が異なります。
  • モデルは 1 つ。 結果は 24 GB クラスのカード上の 4-bit Gemma 4 26B A4B に関するものです。
  • プレプリント。 Zenodo のバージョン 2.3 で、査読は受けておらず、付属のエビデンスアーカイブが添付されています。

vllm-uno のリリース v0.3.0 には、サービング用プロファイル、コンテナイメージ、検証記録が含まれているので、数値を確認できます。提供中のモデルそのものを試すなら、BroadNet のブラウザー Playground でアカウントなしに Gemma 4 を動かせます。

よくある質問

Mixture of Experts(MoE)モデルとは何ですか?

各層に多数のエキスパート(部分ネットワーク)を持ち、トークンごとにそのうち少数だけを動かすモデルです。Gemma 4 26B A4B は総パラメーター 26B、トークンあたりのアクティブパラメーターは約 4B で、そのため規模の割に安く提供できます。

ここで Uno アダプターが他のドラフターより遅いのはなぜですか?

論文は構造的な理由だと説明しています。自己ドラフトの 1 サイクルにはフルモデルのフォワードパスが 2 回必要ですが、独立したドラフターはそのうち 1 回を小さなネットワークに置き換えます。そのため、専用の小さなドラフターがあれば、たいていそちらが勝ちます。

自己ドラフトが有利になるのはどんなときですか?

論文によれば、長い文脈で、幅の広いドラフトが 1 サイクルあたりにより多くのトークンを確定できるとき(約 10,500 トークンで 1.089 倍対 1.011 倍)と、小さなドラフターがそもそも存在しないモデルの場合です。

BroadNet の Gemma 4 API はこのアダプターを使っていますか?

BroadNet のモデルページによると、同社の Gemma 4 26B はマルチトークン予測による投機的デコーディング(k=2)で提供されています。Uno アダプターは研究成果として公開されたもので、BroadNet はこれで API トラフィックを処理しているとは述べていません。

アダプターはダウンロードできますか?

できます。BroadNet は Hugging Face で Broadnet/gemma-4-26B-A4B-uno-pilot-adapter として公開しており、サービング用プロファイルとコンテナイメージは vllm-uno のリリース v0.3.0 に含まれています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く