GPU サーバーでオープンウェイトモデルをセルフホストするとき、最初に試すエンジンのひとつが vLLM です。
仕組み
プロジェクトのドキュメントは vLLM を “a fast and easy-to-use library for LLM inference and serving”(訳:LLM の推論とサービングのための高速で使いやすいライブラリ)、“Originally developed in the Sky Computing Lab at UC Berkeley”(訳:もともと UC バークレーの Sky Computing Lab で開発された)と説明しています。中心となる考え方は次のとおりです。
- PagedAttention。 vLLM の基になった 2023 年の論文は、“inspired by the classical virtual memory and paging techniques in operating systems”(訳:オペレーティングシステムの古典的な仮想メモリとページングの手法に着想を得た)方法で KV キャッシュのメモリを管理します。論文は “near-zero waste in KV cache memory”(訳:KV キャッシュメモリの無駄がほぼゼロ)と、同程度のレイテンシで FasterTransformer や Orca の 2〜4 倍のスループットを報告しています。
- 連続バッチ処理。 固定のバッチを待たず、届いたリクエストを動的にバッチにまとめます。ドキュメントは、あわせてチャンク化プリフィル(chunked prefill)とプレフィックスキャッシュを挙げています。プリフィルとデコードを参照してください。
- 多くの形式。 ドキュメントは量子化の形式として FP8、INT8、INT4、GPTQ/AWQ、GGUF などを挙げています。
- ハードウェア。 NVIDIA と AMD の GPU、いくつかの CPU ファミリーに対応し、ほかのアクセラレーターはプラグインで対応します。
- OpenAI 互換サーバー。
vllm serveで起動し、OpenAI 互換 API と同じように呼び出せます。
自分のサーバーへの最小限のクライアント呼び出しです。
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
サーバーには、そのモデルのチャットテンプレートが必要です。サービングのドキュメントはこう警告しています。“Without a chat template, the server will not be able to process chat and all chat requests will error.”(訳:チャットテンプレートがないと、サーバーはチャットを処理できず、すべてのチャットリクエストがエラーになる)。テンプレートは --chat-template で渡せます。
なぜ重要か
- セルフホストの比較基準。 API の料金と自前の GPU 運用を比べるなら、vLLM は測定によく使われるエンジンです。セルフホストと API のコスト比較では、vLLM か SGLang を使い、実際のプロンプトを実際の同時実行数でテストすることを勧めています。
- サービング方法で結果が変わる。 同じ重みでも、エンジンのバージョン、量子化、設定によって速くも遅くもなり、スコアも変わります。
- 共通の用語。 PagedAttention、チャンク化プリフィル、投機的デコーディングといった用語は、vLLM のどこで使われているかを知ると理解しやすくなります。
BroadNet Inference では
BroadNet は公開 API をどのエンジンで提供しているかを明らかにしていないため、このページでも断定しません。BroadNet が公開しているのは次のものです。2026 年 9 月のプレプリント Uno in vLLM は、IFM の Uno 自己ドラフトアダプターを vLLM に追加し、H100 と Qwen3-8B で、素の vLLM に対して 1 ストリームで 2.58 倍、32 ストリームで 1.74 倍のスループットを報告しています。コードは BroadNet の vllm-uno リポジトリで公開されています。BroadNet のカタログには、ラボ構成のひとつとして、AMD ROCm 向けにパッチを当てた vLLM 上で動く Qwen3.8 27B の AWQ INT4 ビルドも載っています。BroadNet が自社のフリートをどう説明しているかは、GPU ハードウェアとサービングの記事を参照してください。