在 GPU 服务器上自托管开放权重模型时,vLLM 是人们最先尝试的引擎之一。
工作原理
项目文档把 vLLM 描述为 “a fast and easy-to-use library for LLM inference and serving”(译文:一个快速、易用的 LLM 推理与服务库),“Originally developed in the Sky Computing Lab at UC Berkeley”(译文:最初由加州大学伯克利分校 Sky Computing Lab 开发)。它的核心思想:
- PagedAttention。 vLLM 背后的 2023 年论文用一种 “inspired by the classical virtual memory and paging techniques in operating systems”(译文:受操作系统中经典的虚拟内存和分页技术启发)的方法管理 KV 缓存内存。论文报告了 “near-zero waste in KV cache memory”(译文:KV 缓存内存几乎零浪费),在相近延迟下吞吐量是 FasterTransformer 和 Orca 的 2 到 4 倍。
- 连续批处理。 新到的请求被动态地组成批次,而不是等待一个固定批次。文档同时列出了分块预填充(chunked prefill)和前缀缓存;参见 Prefill 与 Decode。
- 多种格式。 文档列出了 FP8、INT8、INT4、GPTQ/AWQ、GGUF 等量化格式。
- 硬件。 支持 NVIDIA 和 AMD GPU 以及多种 CPU 系列,其他加速器通过插件支持。
- OpenAI 兼容服务器。 用
vllm serve启动,然后像调用 OpenAI 兼容 API 一样调用它。
对自己服务器的一个最小客户端调用:
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
服务器需要该模型的对话模板。服务文档提醒:“Without a chat template, the server will not be able to process chat and all chat requests will error.”(译文:没有对话模板,服务器就无法处理对话,所有对话请求都会报错。)可以用 --chat-template 传入一个模板。
为什么重要
- 自托管的基准。 如果要把 API 价格与自己运行 GPU 做比较,vLLM 是常用的测量引擎。我们的自托管与 API 成本对比建议用 vLLM 或 SGLang,以真实并发测试你的真实提示词。
- 服务方式会改变结果。 同样的权重,因引擎版本、量化和设置不同,速度可能更快或更慢,评测分数也可能不同。
- 共同的术语。 知道 vLLM 在哪里使用 PagedAttention、分块预填充和投机解码等概念后,这些术语就更容易理解。
在 BroadNet Inference 上
BroadNet 没有说明其公开 API 由哪个引擎提供服务,因此本页不做任何断言。BroadNet 已公开的内容:2026 年 9 月的一篇预印本 Uno in vLLM,把 IFM 的 Uno 自起草适配器加入 vLLM,报告在 H100 上用 Qwen3-8B 时,单路流的吞吐量是原版 vLLM 的 2.58 倍,32 路时为 1.74 倍。代码公开在 BroadNet 的 vllm-uno 仓库中。BroadNet 的模型目录还在实验室配置中列出了 Qwen3.8 27B 的 AWQ INT4 构建,运行在其面向 AMD ROCm 打过补丁的 vLLM 上。BroadNet 如何介绍自己的算力集群,见其 GPU 硬件与推理服务文章。