BroadRouter
Начать

vLLM

Обновлено

vLLM — это библиотека с открытым кодом для инференса и сервинга LLM, изначально созданная в Sky Computing Lab Калифорнийского университета в Беркли. Она управляет памятью KV-кэша с помощью PagedAttention, непрерывно батчит входящие запросы, поддерживает многие форматы квантизации и предоставляет OpenAI-совместимый HTTP-сервер.

Также называют: vLLM, сервер vLLM, запуск vLLM, развёртывание LLM на vLLM, vLLM server, vLLM serve

Когда разработчики разворачивают open-weight модель на собственном GPU-сервере, vLLM — один из первых движков, которые они пробуют.

Как это работает

Документация проекта описывает vLLM как “a fast and easy-to-use library for LLM inference and serving” (перевод: «быструю и простую в использовании библиотеку для инференса и сервинга LLM»), “Originally developed in the Sky Computing Lab at UC Berkeley” (перевод: «изначально созданную в Sky Computing Lab Калифорнийского университета в Беркли»). Ключевые идеи:

  • PagedAttention. Статья 2023 года, на которой основан vLLM, управляет памятью KV-кэша методом, “inspired by the classical virtual memory and paging techniques in operating systems” (перевод: «вдохновлённым классической виртуальной памятью и страничной организацией в операционных системах»). Авторы сообщают о “near-zero waste in KV cache memory” (перевод: «почти нулевых потерях памяти KV-кэша») и пропускной способности в 2–4 раза выше, чем у FasterTransformer и Orca, при сопоставимой задержке.
  • Continuous batching (непрерывный батчинг). Входящие запросы объединяются в батчи динамически, без ожидания фиксированного батча. Рядом с ним документация называет chunked prefill и prefix caching; см. prefill и decode.
  • Много форматов. Для квантизации документация перечисляет FP8, INT8, INT4, GPTQ/AWQ, GGUF и другие.
  • Оборудование. GPU NVIDIA и AMD и несколько семейств CPU, плюс плагины для других ускорителей.
  • OpenAI-совместимый сервер. Запустите его командой vllm serve и обращайтесь к нему как к OpenAI-совместимому API.

Минимальный клиентский вызов к собственному серверу:

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

Серверу нужен шаблон чата для модели. Документация по сервингу предупреждает: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (перевод: «Без шаблона чата сервер не сможет обрабатывать чат, и все чат-запросы будут завершаться ошибкой».) Шаблон можно передать через --chat-template.

Почему это важно

  • Точка отсчёта для self-hosting. Если вы сравниваете цену API с запуском собственных GPU, vLLM — распространённый движок для замеров. Наш разбор стоимости self-hosting и API советует тестировать реальные промпты при реальной конкурентности на vLLM или SGLang.
  • Сервинг меняет результаты. Одни и те же веса могут работать быстрее или медленнее и получать разные оценки в зависимости от версии движка, квантизации и настроек.
  • Общий словарь. Такие термины, как PagedAttention, chunked prefill и спекулятивное декодирование, проще понять, когда знаешь, где их использует vLLM.

В BroadNet Inference

BroadNet не сообщает, какой движок обслуживает её публичный API, поэтому эта страница ничего не утверждает на этот счёт. Что BroadNet опубликовала: препринт сентября 2026 года Uno in vLLM, который добавляет в vLLM self-drafting адаптер Uno от IFM и сообщает о пропускной способности в 2,58 раза выше, чем у обычного vLLM, при одном потоке и в 1,74 раза при 32 потоках на H100 с Qwen3-8B. Код открыт в репозитории BroadNet vllm-uno. Кроме того, в каталоге BroadNet среди лабораторных конфигураций указана сборка Qwen3.8 27B в AWQ INT4 на пропатченном vLLM для AMD ROCm. О том, как BroadNet описывает свой парк оборудования, читайте в её статье о GPU и сервинге.

Вопросы и ответы

vLLM — это API-провайдер?

Нет. vLLM — это программа, которую вы запускаете на своём оборудовании. Используя её напрямую, вы сами обслуживаете GPU, масштабирование и обновления.

Можно ли подключить OpenAI SDK к серверу vLLM?

Да. vLLM предоставляет OpenAI-совместимый сервер: укажите в SDK base URL вашего сервера и отправляйте запросы chat completions. Модели нужен шаблон чата, иначе чат-запросы завершатся ошибкой.

BroadNet Inference работает на vLLM?

BroadNet не сообщает, какой движок обслуживает её публичный API. Она опубликовала исследовательскую реализацию для vLLM (Uno in vLLM) и указывает пропатченную сборку vLLM для AMD ROCm среди своих лабораторных конфигураций.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity