BroadNet の 2 本目の Uno プレプリントは、自己ドラフト(self-drafting)を初めて Mixture of Experts モデルに適用したものです。2026 年 9 月 18 日に DOI 10.5281/zenodo.22820511 で Zenodo に公開され、Gemma 4 26B A4B を 4-bit で提供し、そのための Uno アダプターを学習させています。対象モデルは、BroadNet Inference の BroadNet Gemma 4 VL 26B と同じベースモデルです。
これは、密な 8B モデルを検証した vLLM での Uno サービング研究の続編です。以下の数値は BroadNet のもので、当サイトでは再現していません。
何を明らかにしようとしたのですか?
投機的デコーディングは、複数のトークンを下書きし、1 回のパスでまとめて検証します。Mixture of Experts モデルには追加の懸念があります。ドラフトの各行が別々のエキスパートにルーティングされる可能性があるため、4 トークンを下書きすると、1 トークンを生成するよりはるかに多くのエキスパートの重みを読むかもしれません。論文は、この「エキスパートのファンアウト」で自己ドラフトのコストが高くなりすぎないか、そして自己ドラフトが独立したドラフターに勝つのはいつかを問うています。
BroadNet はどう検証したのですか?
論文の要旨と BroadNet の手法の説明によると、次のとおりです。
- モデル: Gemma 4 26B A4B。トークンあたりのアクティブパラメーターは約 4B、重みは 4-bit。
- ハードウェア: 24 GB クラスの GPU、1 度に 1 シーケンス。
- ワークロード: BroadNet の本番トラフィックから取った 72 件のプロンプト。各高速化率は、同じセッションの通常デコードの結果で割っています。
- 長い文脈: 約 10,500 トークンのプロンプト 5 件からなる別セット。
- アダプター: ランク 16。965 行で、提供時と同じ 4-bit チェックポイントを通して、24 GB の GPU 1 枚で学習。ループ内でフル精度の重みは一切使っていません。
何がわかったのですか?
| Gemma 4 26B A4B のデコード方法 | 通常デコードに対する高速化 |
|---|---|
| 通常デコード | 1.000 |
| Uno パイロットアダプター、幅 4 | 1.166 |
| マルチトークン予測ドラフター、幅 2 | 1.474 |
| ブロックドラフター、幅 8 | 1.553 |
| 約 10,500 トークンの文脈での Uno | 1.089(MTP ドラフター:1.011) |
BroadNet が報告しているその他の結果:
- 学習は効果があった。 1,500 回の更新で受理率は 42.4% から 48.9% に上がり、同じレシピで学習した、より大きな 2,000 行のコーパスでは、条件をそろえたアンカー実行より検証ステップあたりの受理ドラフトトークンが 0.49 増えました。
- エキスパートのファンアウトは実在するが安い。 4 行のドラフトは 22 個の異なるエキスパートに触れ、1 行では 8 個でしたが、行に関するコスト全体は約 2.4 ステップのサイクルのうち 0.53 ステップ以内に収まりました。BroadNet は、このクラスのハードウェアではルーティングのコストは “worth under a fifth of a cycle”(訳:1 サイクルの 5 分の 1 未満)だと結論づけています。
- ロスレス。 通常出力自体がセッション間で再現しないプロファイルに対して BroadNet は専用のチェックを作り、Uno は “as close to plain as plain is to itself”(訳:通常デコードが自分自身と一致するのと同程度に通常デコードと一致する)と報告しています。
- 5 言語。 論文は、このアダプターの受理率を 5 言語にわたって測定した初の結果だとしています。
実際には何を意味しますか?
論文自身のルールは単純です。モデルに優れた小さなドラフターがあればそれを使い、自己ドラフトは長い文脈と、ドラフターのないモデルで真価を発揮します。これは BroadNet が実際に運用していると述べている内容と一致します。同社のカタログでは、Gemma 4 26B は本番でマルチトークン予測ドラフター(k=2)を使い、“90%+ acceptance on structured prompts”(訳:構造化プロンプトで 90% 以上の受理率)とされています。
本番でドラフターはどれだけ効くのでしょうか。BroadNet のカタログによると、マルチトークン予測は RTX 3090 で 48.8% の向上をもたらし、Gemma 4 VL 26B のページでは投機的デコーディング有効時のシングルストリームで毎秒約 136 トークンとされています。どちらも BroadNet 自身の測定で、モデルページに記載のサービング構成によるものなので、API 経由で得られる速度は負荷や、プロンプトと回答の長さにも左右されます。
API の購入者にとって役立つのは、アダプターではなく手法です。BroadNet によれば、提供するすべてのモデルは顧客に届く前にこの計算を経ます。ドラフト 1 サイクルのコストを測り、実際のワークロードで勝つドラフターを選ぶ、というものです。同じ規律から、飽和状態のサービングでは EAGLE3 を除外しています。
限界は何ですか?
- シングルストリームのみ。 1 度に 1 シーケンス、各条件 1 回の実行です。密モデルの研究が示したとおり、バッチでのサービングは挙動が異なります。
- モデルは 1 つ。 結果は 24 GB クラスのカード上の 4-bit Gemma 4 26B A4B に関するものです。
- プレプリント。 Zenodo のバージョン 2.3 で、査読は受けておらず、付属のエビデンスアーカイブが添付されています。
vllm-uno のリリース v0.3.0 には、サービング用プロファイル、コンテナイメージ、検証記録が含まれているので、数値を確認できます。提供中のモデルそのものを試すなら、BroadNet のブラウザー Playground でアカウントなしに Gemma 4 を動かせます。
