BroadRouter
Começar

vLLM

Atualizado em

vLLM é uma biblioteca open source de inferência e serving de LLMs, desenvolvida originalmente no Sky Computing Lab da UC Berkeley. Ela gerencia a memória do KV cache com PagedAttention, agrupa as requisições em batching contínuo, suporta muitos formatos de quantização e expõe um servidor HTTP compatível com OpenAI.

Também chamado de: vLLM, servidor vLLM, motor de inferência vLLM, serving de LLM, vLLM server, vLLM serve

Quando alguém hospeda por conta própria um modelo open-weight em um servidor com GPU, o vLLM é um dos primeiros motores que se testa.

Como funciona

A documentação do projeto descreve o vLLM como “a fast and easy-to-use library for LLM inference and serving” (tradução: uma biblioteca rápida e fácil de usar para inferência e serving de LLMs), “Originally developed in the Sky Computing Lab at UC Berkeley” (tradução: desenvolvida originalmente no Sky Computing Lab da UC Berkeley). As ideias centrais:

  • PagedAttention. O artigo de 2023 por trás do vLLM gerencia a memória do KV cache com um método “inspired by the classical virtual memory and paging techniques in operating systems” (tradução: inspirado nas técnicas clássicas de memória virtual e paginação dos sistemas operacionais). Ele relata “near-zero waste in KV cache memory” (tradução: desperdício quase zero na memória do KV cache) e de 2 a 4 vezes o throughput do FasterTransformer e do Orca com latência parecida.
  • Continuous batching. As requisições que chegam são agrupadas em batches de forma dinâmica, em vez de esperar um batch fixo. A documentação lista junto o chunked prefill e o prefix caching; veja prefill e decode.
  • Muitos formatos. Para quantização, a documentação lista FP8, INT8, INT4, GPTQ/AWQ, GGUF e outros.
  • Hardware. GPUs NVIDIA e AMD e várias famílias de CPU, com plugins para outros aceleradores.
  • Um servidor compatível com OpenAI. Você o inicia com vllm serve e o chama como uma API compatível com OpenAI.

Uma chamada mínima do cliente para o seu próprio servidor:

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

O servidor precisa de um chat template para o modelo. A documentação de serving avisa: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (tradução: sem um chat template, o servidor não conseguirá processar chat e todas as requisições de chat darão erro.) Você pode passar um com --chat-template.

Por que isso importa

  • Referência para self-hosting. Se você compara o preço de uma API com rodar as suas próprias GPUs, o vLLM é um motor comum para fazer a medição. O nosso guia de custo de self-hosting vs API sugere testar os seus prompts reais, com a concorrência real, no vLLM ou no SGLang.
  • O serving muda os resultados. Os mesmos pesos podem ser mais rápidos ou mais lentos, e pontuar diferente, dependendo da versão do motor, da quantização e das configurações.
  • Um vocabulário comum. Termos como PagedAttention, chunked prefill e speculative decoding ficam mais fáceis de acompanhar quando você sabe onde o vLLM os usa.

Na BroadNet Inference

A BroadNet não diz qual motor serve a sua API pública, então esta página não afirma nenhum. O que a BroadNet publicou: um preprint de setembro de 2026, Uno in vLLM, que adiciona ao vLLM o adapter de self-drafting Uno, da IFM, e relata 2,58 vezes o throughput do vLLM puro com um stream e 1,74 vez com 32, em uma H100 com Qwen3-8B. O código é público no repositório vllm-uno da BroadNet. O catálogo da BroadNet também lista, entre as configurações de laboratório, um build AWQ INT4 do Qwen3.8 27B no seu vLLM com patches para AMD ROCm. Para ver como a BroadNet descreve a sua frota, leia o post sobre hardware de GPU e serving.

Perguntas frequentes

O vLLM é um provedor de API?

Não. O vLLM é um software que você roda no seu próprio hardware. Usá-lo diretamente significa que você mesmo cuida das GPUs, da escala e das atualizações.

Posso apontar o SDK da OpenAI para um servidor vLLM?

Sim. O vLLM expõe um servidor compatível com OpenAI, então você define a base URL do SDK para o seu servidor e envia requisições de chat completion. O modelo precisa de um chat template, senão as requisições de chat falham.

A BroadNet Inference roda em vLLM?

A BroadNet não diz qual motor serve a sua API pública. Ela publicou uma implementação de pesquisa em vLLM (Uno in vLLM) e lista um build de vLLM com patches para AMD ROCm entre as suas configurações de laboratório.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity