BroadRouter

vLLM での Uno:BroadNet のサービング研究は何を測ったか

BroadNet Inference チーム · 約 4 分で読めます · 公開日

Uno in vLLM は BroadNet の 2026 年 9 月のプレプリント(DOI 10.5281/zenodo.22652610)で、モデルが自分でトークンを下書きするアダプター Uno を vLLM に組み込みました。H100 と Qwen3-8B で、通常の vLLM の 2.58 倍(1 ストリーム)、2.20 倍(8)、1.74 倍(32)のスループットを測定し、参照実装との差は 3% 以内でした。

Uno in vLLM は BroadNet の研究部門によるプレプリントで、2026 年 9 月 8 日に DOI 10.5281/zenodo.22652610 で Zenodo に公開されました。IFM が開発した投機的デコーディングの手法 Uno を vLLM にネイティブ実装したことを報告し、通常の vLLM よりどれだけ速くサービングできるかを測定しています。Zenodo のレコードでは、著者は Mohammad Al Zubaidi となっています。

このページでは、論文の主張、測定方法、そして論文からわかることとわからないことをまとめます。数値は BroadNet のもので、当サイトでは再現していません。

Uno はどんな問題に取り組んでいるのですか?

言語モデルは通常、フォワードパス 1 回につき 1 トークンを生成します。投機的デコーディングは、数トークン先を推測し、フルモデルの 1 回のパスでまとめて検証することで高速化します。多くの手法は独立した小さなドラフトモデルを使います。Uno はそうではなく、学習済みのアダプターをモデル自体に取り付け、モデルが自分でトークンを下書きし、元の重みで検証します。基本的な考え方は投機的デコーディングを参照してください。

論文の問いは実用的なものです。バッチ処理、キャッシュ、大量の同時リクエストがある本番のサービングエンジンの中でも、この高速化は生き残るのか、という問いです。

BroadNet は何を作ったのですか?

BroadNet のブログ記事は功績の帰属を明確にしています。手法は “Uno, developed by IFM and collaborators”(訳:IFM と共同研究者が開発した Uno)であり、BroadNet の貢献は “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation”(訳:vLLM へのネイティブな統合、実行パスを連携させるエンジニアリング、そしてサービングの評価)です。要旨には実行面の構成要素が挙げられています。条件付きのアダプタールーティング、完全なドラフトの key/value 状態、非同期スケジューリング、CUDA グラフのリプレイ、アダプター計算のオーバーラップ、シード行の再利用です。

コードは BroadNet の vllm-uno リポジトリで公開されており、BroadNet はプルリクエスト 55947 として vLLM のアップストリームに提案しています。

どのように測定したのですか?

主なテストは統制されたものです。

  • ハードウェアとモデル: NVIDIA H100 1 枚、bfloat16 の Qwen3-8B、公開済みの Qwen3-8B 用 Uno アダプター。
  • ワークロード: 数学のプロンプト 8 件を、大きなバッチを埋めるために繰り返し使い、それぞれ最大 512 トークンを生成。プレフィックスキャッシュは無効。
  • ベースライン: 同じ環境での通常の自己回帰型 vLLM(「通常の vLLM」)。
  • 同時実行数: 1、8、32 の同時ストリーム。

別の比較として、プレフィックスキャッシュを有効にし、BroadNet が選んだサービング設定を使って、SGLang の参照実装と比べています。

研究で何がわかったのですか?

測定項目 BroadNet が報告した結果
通常の vLLM に対するスループット、1 ストリーム 2.58 倍
通常の vLLM に対するスループット、8 ストリーム 2.20 倍
通常の vLLM に対するスループット、32 ストリーム 1.74 倍
SGLang 参照実装との差 1、8、32 ストリームいずれも 3% 以内
本番設定、32 ストリーム 毎秒 7,657 トークン、SGLang は 7,505(2.0% 上回る)
ウォーム時の最初のトークンまでのレイテンシ、vLLM 内でのアブレーション API プロセスを 1 つから 2 つにして 25% 低下

キャパシティ計画にとって重要なのは、最初のブロックの最後の行です。同じ GPU で、同時 32 ストリームのとき毎秒の出力が 74% 増えています。BroadNet のブログが “the central payoff”(訳:中心的な成果)と呼ぶのはこれで、負荷がかかると消える高速化は共有 API にはほとんど役に立たないからです。

後のリリース(v0.2.0、vLLM の Model Runner V2 上)について、BroadNet のブログはシングルストリームの出力が Blackwell で 2.1〜2.4 倍、Ampere で 1.7〜1.9 倍、Hopper で 2.6 倍だとしています。これは論文の主表とはハードウェアもバージョンも異なるため、数値も異なります。

限界は何ですか?

  • モデルもワークロードも 1 つ。 統制された結果は、数学のプロンプトでの Qwen3-8B のものです。コード、チャット、長い文書では、受理されるドラフトトークンが少なくなることがあります。
  • 負荷が高いほど向上は縮む。 2.58 倍から 1.74 倍への傾向は予想どおりの形です。GPU が忙しくなると、ドラフトに回せる余剰の計算資源がなくなります。
  • プレプリント。 論文は Zenodo に登録されたもので、査読は受けていません。付属のアーカイブにはエビデンスの一覧と図のデータが含まれており、それによって他者が検証できます。
  • 自己申告。 両方の条件を BroadNet が実行しています。参照実装との 3% 以内の一致は、それに対する論文自身のチェックです。

API を呼ぶだけなら、なぜ関係があるのですか?

GPU あたりのスループットは、プロバイダーがいくら請求できるか、そして負荷時にどれだけ速く応答できるかを決めます。BroadNet のカタログによると、同社はドラフト手法を実際の同時実行数で測定してから選んでおり、EAGLE3 は同時 32 リクエストでスループットを 69% 落としたため除外しました。Gemma 4 26B での続編研究は、BroadNet が Gemma 4 VL 26B として販売している Mixture of Experts モデルに同じ手法を適用しています。BroadNet のより広いサービングの選択との関係は BroadNet の GPU ハードウェアとサービングの方針を参照してください。

自分で vLLM サーバーを運用しているなら、実用上の教訓は、どのドラフト手法も 1 ストリームではなく、実際に運用している同時実行数でベンチマークすることです。

よくある質問

Uno とは何ですか?

IFM と共同研究者が開発した投機的デコーディングの手法です。学習済みの小さなアダプターによってモデルが複数のトークンを一度に提案し、それをモデル自身の重みで検証します。独立したドラフトモデルは使いません。

この高速化はロスレスですか?

BroadNet は自社のリリースについてそう述べています。通常の vLLM が自身の出力を再現できる場合には常に Uno は貪欲デコードのトークンと一致し、サンプリング分布のテストにも合格しているとのことです。投機的デコーディングは下書きした全トークンをフルモデルで検証するので出力品質は変わらないはずですが、自分のプロンプトで確認してください。

Uno は高い同時実行数でも効果がありますか?

低い同時実行数ほどではありません。論文の統制テストでは、向上は 1 ストリームの 2.58 倍から 32 ストリームの 1.74 倍に下がりました。BroadNet のカタログは、別の手法 EAGLE3 が同時 32 リクエストでスループットを 69% 落としたとも報告しており、ドラフト手法は実際の負荷でテストする必要があります。

自分で動かせますか?

はい。BroadNet は vllm-uno リポジトリで実装を公開しており、各リリースにコンテナイメージ、固定したバージョン、検証記録が付いています。また、プルリクエスト 55947 として vLLM に提案しています。

BroadNet Inference の API モデルは Uno を使っていますか?

BroadNet はそうは述べていません。同社のカタログでは、Gemma 4 26B は本番でマルチトークン予測ドラフター(k=2)を使っています。Uno は BroadNet が公開している研究成果です。専用エンドポイントで必要なら BroadNet に問い合わせてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く