Uno en vLLM es un preprint del área de investigación de BroadNet, publicado en Zenodo el 8 de septiembre de 2026 con el DOI 10.5281/zenodo.22652610. Presenta una implementación nativa en vLLM de Uno, un método de decodificación especulativa desarrollado por IFM, y mide cuánto más rápido sirve que vLLM normal. Su registro en Zenodo indica como autor a Mohammad Al Zubaidi.
Esta página resume lo que dice el artículo, cómo lo midió y qué le dice y qué no. Las cifras son de BroadNet; no las hemos reproducido.
¿Qué problema aborda Uno?
Un modelo de lenguaje normalmente genera un token por cada pasada hacia adelante. La decodificación especulativa acelera esto adivinando varios tokens por adelantado y comprobándolos en una sola pasada del modelo completo. La mayoría de los métodos usan un modelo de borrador separado y más pequeño. Uno, en cambio, añade un adaptador entrenado al propio modelo, de modo que el modelo redacta sus propios tokens y luego los verifica con sus pesos originales. Consulte decodificación especulativa para la idea general.
La pregunta del artículo es práctica: ¿esa aceleración sobrevive dentro de un motor de serving de producción, con batching, caché y muchas solicitudes a la vez?
¿Qué construyó BroadNet?
El artículo del blog de BroadNet es claro con el crédito: “Uno, developed by IFM and collaborators” (Traducción: Uno, desarrollado por IFM y colaboradores) es el método, y la aportación de BroadNet es “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (Traducción: la integración nativa en vLLM, la ingeniería que hace que sus rutas de ejecución funcionen juntas y la evaluación de serving). El resumen enumera las piezas de ejecución: enrutamiento condicional del adaptador, estado completo de claves y valores del borrador, planificación asíncrona, reproducción de CUDA graphs, cálculo superpuesto del adaptador y reutilización de filas semilla.
El código es público en el repositorio vllm-uno de BroadNet, y BroadNet lo ha propuesto al proyecto vLLM como pull request 55947.
¿Cómo se midió?
La prueba principal es controlada:
- Hardware y modelo: una NVIDIA H100, Qwen3-8B en bfloat16, con el adaptador Uno publicado para Qwen3-8B.
- Carga de trabajo: ocho prompts de matemáticas, repetidos en ciclo para llenar lotes mayores, cada uno generando hasta 512 tokens, con la caché de prefijos desactivada.
- Línea base: vLLM autorregresivo convencional (“plain vLLM”, es decir, vLLM normal) con la misma configuración.
- Concurrencia: 1, 8 y 32 streams simultáneos.
Una segunda comparación, separada, activa la caché de prefijos y usa los ajustes de serving elegidos por BroadNet, para compararse con la implementación de referencia de SGLang.
¿Qué encontró el estudio?
| Medición | Resultado informado por BroadNet |
|---|---|
| Rendimiento frente a vLLM normal, 1 stream | 2.58x |
| Rendimiento frente a vLLM normal, 8 streams | 2.20x |
| Rendimiento frente a vLLM normal, 32 streams | 1.74x |
| Diferencia con la implementación de referencia de SGLang | menos del 3 % con 1, 8 y 32 streams |
| Ajustes de producción, 32 streams | 7,657 tokens/s, frente a 7,505 de SGLang (2.0 % por delante) |
| Latencia del primer token en caliente, ablación dentro de vLLM | 25 % menor con dos procesos de API en lugar de uno |
El dato clave para planificar capacidad es la última fila del primer bloque: un 74 % más de salida por segundo con 32 streams concurrentes, desde la misma GPU. Es lo que el blog de BroadNet llama “the central payoff” (Traducción: el beneficio central), porque una aceleración que desaparece bajo carga aporta poco a una API compartida.
Una versión posterior (v0.2.0, sobre el Model Runner V2 de vLLM) se describe en el blog de BroadNet con 2.1 a 2.4 veces más salida en un solo stream en Blackwell, 1.7 a 1.9 veces en Ampere y 2.6 veces en Hopper. Son hardware y versiones distintos de los de la tabla principal del artículo, por eso las cifras difieren.
¿Cuáles son los límites?
- Un modelo, una carga de trabajo. El resultado controlado es Qwen3-8B con prompts de matemáticas. El código, el chat o los documentos largos pueden aceptar menos tokens de borrador.
- Las mejoras se reducen con la carga. La tendencia de 2.58x a 1.74x es la forma esperada: cuando la GPU está ocupada, se agota el cómputo sobrante para el borrador.
- Un preprint. El artículo está depositado en Zenodo, sin revisión por pares. Su archivo complementario contiene el inventario de evidencias y los datos de las figuras, que es lo que permite a otros comprobarlo.
- Autoinformado. BroadNet ejecutó ambas variantes. La coincidencia dentro del 3 % con la implementación de referencia es la propia comprobación del artículo al respecto.
¿Por qué importa si usted solo llama a una API?
El rendimiento por GPU determina lo que un proveedor puede cobrar y qué tan rápido responde bajo carga. El catálogo de BroadNet informa que mide los métodos de borrador con concurrencia real antes de elegir uno, y que descartó EAGLE3 después de que costara el 69 % del rendimiento con 32 solicitudes concurrentes. El estudio posterior sobre Gemma 4 26B aplica el mismo método al modelo de mezcla de expertos que BroadNet vende como Gemma 4 VL 26B. Para ver cómo encaja esto en las decisiones de serving más amplias de BroadNet, consulte el hardware GPU de BroadNet y su enfoque de serving.
Si usted ejecuta sus propios servidores vLLM, la lección práctica es medir cualquier método de borrador con la concurrencia que realmente usa, no con un solo stream.
