---
title: "什么是 vLLM？开源大模型推理服务引擎详解 | BroadRouter"
description: "vLLM 是基于 PagedAttention 和连续批处理的开源 LLM 推理服务引擎，并提供 OpenAI 兼容服务器。它能做什么，以及什么时候该用它。"
url: https://broadrouter.com/zh/glossary/vllm/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/vllm/)（2026-11-15 更新）。

# vLLM

更新于 2026-11-15

vLLM 是一个用于 LLM 推理和服务部署的开源库，最初由加州大学伯克利分校 Sky Computing Lab 开发。它用 PagedAttention 管理 KV 缓存内存，对请求做连续批处理，支持多种量化格式，并提供 OpenAI 兼容的 HTTP 服务器。

又称： vLLM 部署、vLLM 推理、vLLM 推理框架、大模型推理引擎、vLLM、vLLM server、vLLM serve

在 GPU 服务器上自托管开放权重模型时，vLLM 是人们最先尝试的引擎之一。

## 工作原理

项目文档把 vLLM 描述为 “a fast and easy-to-use library for LLM inference and serving”（译文：一个快速、易用的 LLM 推理与服务库），“Originally developed in the Sky Computing Lab at UC Berkeley”（译文：最初由加州大学伯克利分校 Sky Computing Lab 开发）。它的核心思想：

-   **PagedAttention。** vLLM 背后的 2023 年论文用一种 “inspired by the classical virtual memory and paging techniques in operating systems”（译文：受操作系统中经典的虚拟内存和分页技术启发）的方法管理 [KV 缓存](https://broadrouter.com/zh/glossary/kv-cache/)内存。论文报告了 “near-zero waste in KV cache memory”（译文：KV 缓存内存几乎零浪费），在相近延迟下[吞吐量](https://broadrouter.com/zh/glossary/throughput/)是 FasterTransformer 和 Orca 的 2 到 4 倍。
-   **连续批处理。** 新到的请求被动态地组成批次，而不是等待一个固定批次。文档同时列出了分块预填充（chunked prefill）和前缀缓存；参见 [Prefill 与 Decode](https://broadrouter.com/zh/glossary/prefill-and-decode/)。
-   **多种格式。** 文档列出了 FP8、INT8、INT4、GPTQ/[AWQ](https://broadrouter.com/zh/glossary/awq/)、[GGUF](https://broadrouter.com/zh/glossary/gguf/) 等[量化](https://broadrouter.com/zh/glossary/quantization/)格式。
-   **硬件。** 支持 NVIDIA 和 AMD GPU 以及多种 CPU 系列，其他加速器通过插件支持。
-   **OpenAI 兼容服务器。** 用 `vllm serve` 启动，然后像调用 [OpenAI 兼容 API](https://broadrouter.com/zh/glossary/openai-compatible-api/) 一样调用它。

对自己服务器的一个最小客户端调用：

```python
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])
```

服务器需要该模型的[对话模板](https://broadrouter.com/zh/glossary/chat-template/)。服务文档提醒：“Without a chat template, the server will not be able to process chat and all chat requests will error.”（译文：没有对话模板，服务器就无法处理对话，所有对话请求都会报错。）可以用 `--chat-template` 传入一个模板。

## 为什么重要

-   **自托管的基准。** 如果要把 API 价格与自己运行 GPU 做比较，vLLM 是常用的测量引擎。我们的[自托管与 API 成本对比](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)建议用 vLLM 或 SGLang，以真实并发测试你的真实提示词。
-   **服务方式会改变结果。** 同样的权重，因引擎版本、量化和设置不同，速度可能更快或更慢，评测分数也可能不同。
-   **共同的术语。** 知道 vLLM 在哪里使用 PagedAttention、分块预填充和[投机解码](https://broadrouter.com/zh/glossary/speculative-decoding/)等概念后，这些术语就更容易理解。

## 在 BroadNet Inference 上

BroadNet 没有说明其公开 API 由哪个引擎提供服务，因此本页不做任何断言。BroadNet 已公开的内容：2026 年 9 月的一篇预印本 [Uno in vLLM](https://broadrouter.com/zh/blog/uno-in-vllm-serving-study/)，把 IFM 的 Uno 自起草适配器加入 vLLM，报告在 H100 上用 Qwen3-8B 时，单路流的吞吐量是原版 vLLM 的 2.58 倍，32 路时为 1.74 倍。代码公开在 BroadNet 的 vllm-uno 仓库中。BroadNet 的模型目录还在实验室配置中列出了 [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) 的 AWQ INT4 构建，运行在其面向 AMD ROCm 打过补丁的 vLLM 上。BroadNet 如何介绍自己的算力集群，见[其 GPU 硬件与推理服务文章](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)。

## 常见问题

### vLLM 是 API 服务商吗？

不是。vLLM 是在你自己的硬件上运行的软件。直接使用它，意味着 GPU、扩缩容和升级都要你自己运维。

### 能把 OpenAI SDK 指向 vLLM 服务器吗？

可以。vLLM 提供 OpenAI 兼容的服务器，把 SDK 的 base URL 设为你的服务器地址，再发送对话补全请求即可。模型需要有对话模板，否则对话请求会失败。

### BroadNet Inference 是用 vLLM 运行的吗？

BroadNet 没有说明其公开 API 由哪个引擎提供服务。它发布过一个 vLLM 研究实现（Uno in vLLM），并在实验室配置中列出了一个面向 AMD ROCm 的打过补丁的 vLLM 构建。

## 另请参阅

-   [KV 缓存（KV cache）](https://broadrouter.com/zh/glossary/kv-cache/)（术语）
-   [Prefill 与 Decode（预填充与解码）](https://broadrouter.com/zh/glossary/prefill-and-decode/)（术语）
-   [吞吐量（throughput）](https://broadrouter.com/zh/glossary/throughput/)（术语）
-   [量化（quantization）](https://broadrouter.com/zh/glossary/quantization/)（术语）
-   [OpenAI 兼容 API（OpenAI-compatible API）](https://broadrouter.com/zh/glossary/openai-compatible-api/)（术语）
-   [投机解码（speculative decoding）](https://broadrouter.com/zh/glossary/speculative-decoding/)（术语）
-   [vLLM 中的 Uno：BroadNet 部署研究测了什么](https://broadrouter.com/zh/blog/uno-in-vllm-serving-study/)（文章）
-   [自建部署大模型还是用 API：真实成本与盈亏平衡点](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)（文章）
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-vllm&utm_content=page-cta) ·

**来源**

-   [Kwon 等，Efficient Memory Management for LLM Serving with PagedAttention，arXiv 2309.06180（2026-11-15 查阅）](https://arxiv.org/abs/2309.06180)
-   [vLLM 文档，概览（2026-11-15 查阅）](https://docs.vllm.ai/en/latest/)
-   [vLLM 文档，在线服务与对话模板（2026-11-15 查阅）](https://docs.vllm.ai/en/latest/serving/online_serving/)
-   [Al Zubaidi，Uno in vLLM: An Independent Implementation and Empirical Serving Study，Zenodo 预印本（2026-11-15 查阅）](https://doi.org/10.5281/zenodo.22652610)
