BroadRouter
Comenzar

vLLM

Actualizado

vLLM es una biblioteca de código abierto para inferencia y servicio de LLM, desarrollada originalmente en el Sky Computing Lab de UC Berkeley. Gestiona la memoria de la caché KV con PagedAttention, agrupa las solicitudes entrantes de forma continua, admite muchos formatos de cuantización y ofrece un servidor HTTP compatible con OpenAI.

También llamado: servidor vLLM, motor vLLM, servir modelos con vLLM, vLLM server, vLLM serve

Cuando alguien aloja por su cuenta un modelo de pesos abiertos en un servidor con GPU, vLLM es uno de los primeros motores que prueba.

Cómo funciona

La documentación del proyecto describe vLLM como “a fast and easy-to-use library for LLM inference and serving” (traducción: una biblioteca rápida y fácil de usar para inferencia y servicio de LLM), “Originally developed in the Sky Computing Lab at UC Berkeley” (traducción: desarrollada originalmente en el Sky Computing Lab de UC Berkeley). Sus ideas centrales:

  • PagedAttention. El artículo de 2023 detrás de vLLM gestiona la memoria de la caché KV con un método “inspired by the classical virtual memory and paging techniques in operating systems” (traducción: inspirado en las técnicas clásicas de memoria virtual y paginación de los sistemas operativos). Reporta “near-zero waste in KV cache memory” (traducción: un desperdicio casi nulo de memoria de caché KV) y de 2 a 4 veces el throughput de FasterTransformer y Orca con una latencia similar.
  • Batching continuo. Las solicitudes entrantes se agrupan de forma dinámica en lugar de esperar un lote fijo. La documentación menciona junto a esto el chunked prefill y el prefix caching; vea prefill y decode.
  • Muchos formatos. La documentación lista FP8, INT8, INT4, GPTQ/AWQ, GGUF y otros para cuantización.
  • Hardware. GPU de NVIDIA y AMD y varias familias de CPU, con plugins para otros aceleradores.
  • Un servidor compatible con OpenAI. Inícielo con vllm serve y llámelo como cualquier API compatible con OpenAI.

Una llamada mínima de cliente a su propio servidor:

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

El servidor necesita una plantilla de chat para el modelo. La documentación de servicio advierte: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (traducción: sin una plantilla de chat, el servidor no podrá procesar el chat y todas las solicitudes de chat darán error). Puede pasar una con --chat-template.

Por qué importa

  • Referencia para el autoalojamiento. Si compara el precio de una API con operar sus propias GPU, vLLM es un motor habitual para medir. Nuestra guía de costos de autoalojar un LLM vs usar una API sugiere probar sus prompts reales con concurrencia real en vLLM o SGLang.
  • La forma de servir cambia los resultados. Los mismos pesos pueden ser más rápidos o más lentos, y puntuar distinto, según la versión del motor, la cuantización y los ajustes.
  • Un vocabulario compartido. Términos como PagedAttention, chunked prefill y decodificación especulativa se entienden mejor cuando sabe dónde los usa vLLM.

En BroadNet Inference

BroadNet no dice qué motor sirve su API pública, así que esta página no afirma ninguno. Lo que BroadNet sí ha publicado: un preprint de septiembre de 2026, Uno in vLLM, que añade a vLLM el adaptador de autoborrador (self-drafting) Uno de IFM y reporta 2.58 veces el throughput de vLLM sin modificar con un stream y 1.74 veces con 32, en una H100 con Qwen3-8B. Su código es público en el repositorio vllm-uno de BroadNet. El catálogo de BroadNet también incluye una compilación AWQ INT4 de Qwen3.8 27B sobre su vLLM parcheado para AMD ROCm entre las configuraciones de laboratorio. Para ver cómo describe BroadNet su flota, consulte su artículo sobre hardware GPU y servicio.

Preguntas frecuentes

¿vLLM es un proveedor de API?

No. vLLM es software que usted ejecuta en su propio hardware. Usarlo directamente significa que usted opera las GPU, el escalado y las actualizaciones.

¿Puedo apuntar el SDK de OpenAI a un servidor vLLM?

Sí. vLLM expone un servidor compatible con OpenAI, así que configura la base URL del SDK con su servidor y envía solicitudes de chat completion. El modelo necesita una plantilla de chat; si no, las solicitudes de chat fallan.

¿BroadNet Inference funciona con vLLM?

BroadNet no dice qué motor sirve su API pública. Ha publicado una implementación de investigación sobre vLLM (Uno in vLLM) e incluye una compilación parcheada de vLLM para AMD ROCm entre sus configuraciones de laboratorio.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity