BroadRouter
开始使用

vLLM

更新于

vLLM 是一个用于 LLM 推理和服务部署的开源库,最初由加州大学伯克利分校 Sky Computing Lab 开发。它用 PagedAttention 管理 KV 缓存内存,对请求做连续批处理,支持多种量化格式,并提供 OpenAI 兼容的 HTTP 服务器。

又称: vLLM 部署、vLLM 推理、vLLM 推理框架、大模型推理引擎、vLLM、vLLM server、vLLM serve

在 GPU 服务器上自托管开放权重模型时,vLLM 是人们最先尝试的引擎之一。

工作原理

项目文档把 vLLM 描述为 “a fast and easy-to-use library for LLM inference and serving”(译文:一个快速、易用的 LLM 推理与服务库),“Originally developed in the Sky Computing Lab at UC Berkeley”(译文:最初由加州大学伯克利分校 Sky Computing Lab 开发)。它的核心思想:

  • PagedAttention。 vLLM 背后的 2023 年论文用一种 “inspired by the classical virtual memory and paging techniques in operating systems”(译文:受操作系统中经典的虚拟内存和分页技术启发)的方法管理 KV 缓存内存。论文报告了 “near-zero waste in KV cache memory”(译文:KV 缓存内存几乎零浪费),在相近延迟下吞吐量是 FasterTransformer 和 Orca 的 2 到 4 倍。
  • 连续批处理。 新到的请求被动态地组成批次,而不是等待一个固定批次。文档同时列出了分块预填充(chunked prefill)和前缀缓存;参见 Prefill 与 Decode。
  • 多种格式。 文档列出了 FP8、INT8、INT4、GPTQ/AWQ、GGUF 等量化格式。
  • 硬件。 支持 NVIDIA 和 AMD GPU 以及多种 CPU 系列,其他加速器通过插件支持。
  • OpenAI 兼容服务器。 用 vllm serve 启动,然后像调用 OpenAI 兼容 API 一样调用它。

对自己服务器的一个最小客户端调用:

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

服务器需要该模型的对话模板。服务文档提醒:“Without a chat template, the server will not be able to process chat and all chat requests will error.”(译文:没有对话模板,服务器就无法处理对话,所有对话请求都会报错。)可以用 --chat-template 传入一个模板。

为什么重要

  • 自托管的基准。 如果要把 API 价格与自己运行 GPU 做比较,vLLM 是常用的测量引擎。我们的自托管与 API 成本对比建议用 vLLM 或 SGLang,以真实并发测试你的真实提示词。
  • 服务方式会改变结果。 同样的权重,因引擎版本、量化和设置不同,速度可能更快或更慢,评测分数也可能不同。
  • 共同的术语。 知道 vLLM 在哪里使用 PagedAttention、分块预填充和投机解码等概念后,这些术语就更容易理解。

在 BroadNet Inference 上

BroadNet 没有说明其公开 API 由哪个引擎提供服务,因此本页不做任何断言。BroadNet 已公开的内容:2026 年 9 月的一篇预印本 Uno in vLLM,把 IFM 的 Uno 自起草适配器加入 vLLM,报告在 H100 上用 Qwen3-8B 时,单路流的吞吐量是原版 vLLM 的 2.58 倍,32 路时为 1.74 倍。代码公开在 BroadNet 的 vllm-uno 仓库中。BroadNet 的模型目录还在实验室配置中列出了 Qwen3.8 27B 的 AWQ INT4 构建,运行在其面向 AMD ROCm 打过补丁的 vLLM 上。BroadNet 如何介绍自己的算力集群,见其 GPU 硬件与推理服务文章。

常见问题

vLLM 是 API 服务商吗?

不是。vLLM 是在你自己的硬件上运行的软件。直接使用它,意味着 GPU、扩缩容和升级都要你自己运维。

能把 OpenAI SDK 指向 vLLM 服务器吗?

可以。vLLM 提供 OpenAI 兼容的服务器,把 SDK 的 base URL 设为你的服务器地址,再发送对话补全请求即可。模型需要有对话模板,否则对话请求会失败。

BroadNet Inference 是用 vLLM 运行的吗?

BroadNet 没有说明其公开 API 由哪个引擎提供服务。它发布过一个 vLLM 研究实现(Uno in vLLM),并在实验室配置中列出了一个面向 AMD ROCm 的打过补丁的 vLLM 构建。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity