---
title: "Что такое vLLM? Движок для инференса LLM с открытым кодом"
description: "vLLM — открытый движок для инференса и сервинга LLM на основе PagedAttention и continuous batching, с OpenAI-совместимым сервером. Что он делает и зачем нужен."
url: https://broadrouter.com/ru/glossary/vllm/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/vllm/) (обновлён 2026-11-15).

# vLLM

Обновлено 2026-11-15

vLLM — это библиотека с открытым кодом для инференса и сервинга LLM, изначально созданная в Sky Computing Lab Калифорнийского университета в Беркли. Она управляет памятью KV-кэша с помощью PagedAttention, непрерывно батчит входящие запросы, поддерживает многие форматы квантизации и предоставляет OpenAI-совместимый HTTP-сервер.

Также называют: vLLM, сервер vLLM, запуск vLLM, развёртывание LLM на vLLM, vLLM server, vLLM serve

Когда разработчики разворачивают open-weight модель на собственном GPU-сервере, vLLM — один из первых движков, которые они пробуют.

## Как это работает

Документация проекта описывает vLLM как “a fast and easy-to-use library for LLM inference and serving” (перевод: «быструю и простую в использовании библиотеку для инференса и сервинга LLM»), “Originally developed in the Sky Computing Lab at UC Berkeley” (перевод: «изначально созданную в Sky Computing Lab Калифорнийского университета в Беркли»). Ключевые идеи:

-   **PagedAttention.** Статья 2023 года, на которой основан vLLM, управляет памятью [KV-кэша](https://broadrouter.com/ru/glossary/kv-cache/) методом, “inspired by the classical virtual memory and paging techniques in operating systems” (перевод: «вдохновлённым классической виртуальной памятью и страничной организацией в операционных системах»). Авторы сообщают о “near-zero waste in KV cache memory” (перевод: «почти нулевых потерях памяти KV-кэша») и [пропускной способности](https://broadrouter.com/ru/glossary/throughput/) в 2–4 раза выше, чем у FasterTransformer и Orca, при сопоставимой задержке.
-   **Continuous batching (непрерывный батчинг).** Входящие запросы объединяются в батчи динамически, без ожидания фиксированного батча. Рядом с ним документация называет chunked prefill и prefix caching; см. [prefill и decode](https://broadrouter.com/ru/glossary/prefill-and-decode/).
-   **Много форматов.** Для [квантизации](https://broadrouter.com/ru/glossary/quantization/) документация перечисляет FP8, INT8, INT4, GPTQ/[AWQ](https://broadrouter.com/ru/glossary/awq/), [GGUF](https://broadrouter.com/ru/glossary/gguf/) и другие.
-   **Оборудование.** GPU NVIDIA и AMD и несколько семейств CPU, плюс плагины для других ускорителей.
-   **OpenAI-совместимый сервер.** Запустите его командой `vllm serve` и обращайтесь к нему как к [OpenAI-совместимому API](https://broadrouter.com/ru/glossary/openai-compatible-api/).

Минимальный клиентский вызов к собственному серверу:

```python
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])
```

Серверу нужен [шаблон чата](https://broadrouter.com/ru/glossary/chat-template/) для модели. Документация по сервингу предупреждает: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (перевод: «Без шаблона чата сервер не сможет обрабатывать чат, и все чат-запросы будут завершаться ошибкой».) Шаблон можно передать через `--chat-template`.

## Почему это важно

-   **Точка отсчёта для self-hosting.** Если вы сравниваете цену API с запуском собственных GPU, vLLM — распространённый движок для замеров. Наш [разбор стоимости self-hosting и API](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/) советует тестировать реальные промпты при реальной конкурентности на vLLM или SGLang.
-   **Сервинг меняет результаты.** Одни и те же веса могут работать быстрее или медленнее и получать разные оценки в зависимости от версии движка, квантизации и настроек.
-   **Общий словарь.** Такие термины, как PagedAttention, chunked prefill и [спекулятивное декодирование](https://broadrouter.com/ru/glossary/speculative-decoding/), проще понять, когда знаешь, где их использует vLLM.

## В BroadNet Inference

BroadNet не сообщает, какой движок обслуживает её публичный API, поэтому эта страница ничего не утверждает на этот счёт. Что BroadNet опубликовала: препринт сентября 2026 года [Uno in vLLM](https://broadrouter.com/ru/blog/uno-in-vllm-serving-study/), который добавляет в vLLM self-drafting адаптер Uno от IFM и сообщает о пропускной способности в 2,58 раза выше, чем у обычного vLLM, при одном потоке и в 1,74 раза при 32 потоках на H100 с Qwen3-8B. Код открыт в репозитории BroadNet vllm-uno. Кроме того, в каталоге BroadNet среди лабораторных конфигураций указана сборка [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/) в AWQ INT4 на пропатченном vLLM для AMD ROCm. О том, как BroadNet описывает свой парк оборудования, читайте в [её статье о GPU и сервинге](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/).

## Вопросы и ответы

### vLLM — это API-провайдер?

Нет. vLLM — это программа, которую вы запускаете на своём оборудовании. Используя её напрямую, вы сами обслуживаете GPU, масштабирование и обновления.

### Можно ли подключить OpenAI SDK к серверу vLLM?

Да. vLLM предоставляет OpenAI-совместимый сервер: укажите в SDK base URL вашего сервера и отправляйте запросы chat completions. Модели нужен шаблон чата, иначе чат-запросы завершатся ошибкой.

### BroadNet Inference работает на vLLM?

BroadNet не сообщает, какой движок обслуживает её публичный API. Она опубликовала исследовательскую реализацию для vLLM (Uno in vLLM) и указывает пропатченную сборку vLLM для AMD ROCm среди своих лабораторных конфигураций.

## См. также

-   [KV-кэш (KV cache)](https://broadrouter.com/ru/glossary/kv-cache/) (термин)
-   [Prefill и decode (префилл и декодирование)](https://broadrouter.com/ru/glossary/prefill-and-decode/) (термин)
-   [Пропускная способность (throughput)](https://broadrouter.com/ru/glossary/throughput/) (термин)
-   [Квантизация (quantization)](https://broadrouter.com/ru/glossary/quantization/) (термин)
-   [OpenAI-совместимый API](https://broadrouter.com/ru/glossary/openai-compatible-api/) (термин)
-   [Спекулятивное декодирование (speculative decoding)](https://broadrouter.com/ru/glossary/speculative-decoding/) (термин)
-   [Uno в vLLM: что измерило исследование инференса BroadNet](https://broadrouter.com/ru/blog/uno-in-vllm-serving-study/) (статья)
-   [Своя LLM на GPU или API: реальная стоимость и точка окупаемости](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/) (статья)
-   [GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-vllm&utm_content=page-cta) ·

**Источники**

-   [Kwon et al., Efficient Memory Management for LLM Serving with PagedAttention, arXiv 2309.06180 (дата обращения 2026-11-15)](https://arxiv.org/abs/2309.06180)
-   [Документация vLLM, обзор (дата обращения 2026-11-15)](https://docs.vllm.ai/en/latest/)
-   [Документация vLLM, онлайн-сервинг и шаблоны чата (дата обращения 2026-11-15)](https://docs.vllm.ai/en/latest/serving/online_serving/)
-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, препринт на Zenodo (дата обращения 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
