Cuando alguien aloja por su cuenta un modelo de pesos abiertos en un servidor con GPU, vLLM es uno de los primeros motores que prueba.
Cómo funciona
La documentación del proyecto describe vLLM como “a fast and easy-to-use library for LLM inference and serving” (traducción: una biblioteca rápida y fácil de usar para inferencia y servicio de LLM), “Originally developed in the Sky Computing Lab at UC Berkeley” (traducción: desarrollada originalmente en el Sky Computing Lab de UC Berkeley). Sus ideas centrales:
- PagedAttention. El artículo de 2023 detrás de vLLM gestiona la memoria de la caché KV con un método “inspired by the classical virtual memory and paging techniques in operating systems” (traducción: inspirado en las técnicas clásicas de memoria virtual y paginación de los sistemas operativos). Reporta “near-zero waste in KV cache memory” (traducción: un desperdicio casi nulo de memoria de caché KV) y de 2 a 4 veces el throughput de FasterTransformer y Orca con una latencia similar.
- Batching continuo. Las solicitudes entrantes se agrupan de forma dinámica en lugar de esperar un lote fijo. La documentación menciona junto a esto el chunked prefill y el prefix caching; vea prefill y decode.
- Muchos formatos. La documentación lista FP8, INT8, INT4, GPTQ/AWQ, GGUF y otros para cuantización.
- Hardware. GPU de NVIDIA y AMD y varias familias de CPU, con plugins para otros aceleradores.
- Un servidor compatible con OpenAI. Inícielo con
vllm servey llámelo como cualquier API compatible con OpenAI.
Una llamada mínima de cliente a su propio servidor:
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
El servidor necesita una plantilla de chat para el modelo. La documentación de servicio advierte: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (traducción: sin una plantilla de chat, el servidor no podrá procesar el chat y todas las solicitudes de chat darán error). Puede pasar una con --chat-template.
Por qué importa
- Referencia para el autoalojamiento. Si compara el precio de una API con operar sus propias GPU, vLLM es un motor habitual para medir. Nuestra guía de costos de autoalojar un LLM vs usar una API sugiere probar sus prompts reales con concurrencia real en vLLM o SGLang.
- La forma de servir cambia los resultados. Los mismos pesos pueden ser más rápidos o más lentos, y puntuar distinto, según la versión del motor, la cuantización y los ajustes.
- Un vocabulario compartido. Términos como PagedAttention, chunked prefill y decodificación especulativa se entienden mejor cuando sabe dónde los usa vLLM.
En BroadNet Inference
BroadNet no dice qué motor sirve su API pública, así que esta página no afirma ninguno. Lo que BroadNet sí ha publicado: un preprint de septiembre de 2026, Uno in vLLM, que añade a vLLM el adaptador de autoborrador (self-drafting) Uno de IFM y reporta 2.58 veces el throughput de vLLM sin modificar con un stream y 1.74 veces con 32, en una H100 con Qwen3-8B. Su código es público en el repositorio vllm-uno de BroadNet. El catálogo de BroadNet también incluye una compilación AWQ INT4 de Qwen3.8 27B sobre su vLLM parcheado para AMD ROCm entre las configuraciones de laboratorio. Para ver cómo describe BroadNet su flota, consulte su artículo sobre hardware GPU y servicio.