Uno no vLLM é um preprint da área de pesquisa da BroadNet, publicado no Zenodo em 8 de setembro de 2026 com o DOI 10.5281/zenodo.22652610. Ele descreve uma implementação nativa no vLLM do Uno, um método de speculative decoding desenvolvido pela IFM, e mede quanto mais rápido ele serve em comparação com o vLLM simples. O registro no Zenodo lista Mohammad Al Zubaidi como autor.
Esta página resume o que o artigo diz, como mediu e o que ele diz e não diz a você. Os números são da BroadNet; não os reproduzimos.
Que problema o Uno resolve?
Um modelo de linguagem normalmente gera um token por passagem forward. O speculative decoding acelera isso adivinhando vários tokens adiante e verificando-os em uma única passagem do modelo completo. A maioria dos métodos usa um modelo de rascunho separado e menor. O Uno, em vez disso, acopla um adapter treinado ao próprio modelo, então o modelo rascunha os próprios tokens e depois os verifica com os pesos originais. Veja speculative decoding para a ideia geral.
A pergunta do artigo é prática: essa aceleração sobrevive dentro de um motor de serving de produção, com batching, cache e muitas requisições ao mesmo tempo?
O que a BroadNet construiu?
O post no blog da BroadNet deixa claro o crédito: o método é “Uno, developed by IFM and collaborators” (tradução: “Uno, desenvolvido pela IFM e colaboradores”), e a contribuição da BroadNet é “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (tradução: “a integração nativa ao vLLM, a engenharia que faz seus caminhos de execução funcionarem juntos e a avaliação de serving”). O resumo lista as peças de execução: roteamento condicional do adapter, estado key/value completo do rascunho, agendamento assíncrono, replay de CUDA graph, computação do adapter sobreposta e reuso de linhas-semente.
O código é público no repositório vllm-uno da BroadNet, que o propôs ao vLLM upstream como pull request 55947.
Como foi medido?
O teste principal é controlado:
- Hardware e modelo: uma NVIDIA H100, Qwen3-8B em bfloat16, com o adapter Uno publicado para o Qwen3-8B.
- Carga de trabalho: oito prompts de matemática, repetidos em ciclo para preencher lotes maiores, cada um gerando até 512 tokens, com prefix caching desligado.
- Linha de base: vLLM autorregressivo comum (“vLLM simples”) na mesma configuração.
- Concorrência: 1, 8 e 32 streams simultâneos.
Uma segunda comparação, separada, liga o prefix caching e usa as configurações de serving escolhidas pela BroadNet, para comparar com a implementação de referência em SGLang.
O que o estudo encontrou?
| Medição | Resultado relatado pela BroadNet |
|---|---|
| Throughput vs vLLM simples, 1 stream | 2,58x |
| Throughput vs vLLM simples, 8 streams | 2,20x |
| Throughput vs vLLM simples, 32 streams | 1,74x |
| Diferença para a implementação de referência em SGLang | menos de 3% com 1, 8 e 32 streams |
| Configurações de produção, 32 streams | 7.657 tokens/s, contra 7.505 do SGLang (2,0% à frente) |
| Latência do primeiro token a quente, ablação dentro do vLLM | 25% menor com dois processos de API em vez de um |
O destaque para planejamento de capacidade é a última linha do primeiro bloco: 74% mais saída por segundo com 32 streams simultâneos, na mesma GPU. É o que o blog da BroadNet chama de “the central payoff” (tradução: “o ganho central”), porque uma aceleração que some sob carga pouco ajuda uma API compartilhada.
Uma release posterior (v0.2.0, no Model Runner V2 do vLLM) é descrita no blog da BroadNet com saída de stream único de 2,1 a 2,4 vezes em Blackwell, de 1,7 a 1,9 vez em Ampere e de 2,6 vezes em Hopper. São hardware e versões diferentes dos da tabela principal do artigo, e por isso os números diferem.
Quais são os limites?
- Um modelo, uma carga de trabalho. O resultado controlado é do Qwen3-8B em prompts de matemática. Código, chat ou documentos longos podem aceitar menos tokens rascunhados.
- Os ganhos encolhem com a carga. A tendência de 2,58x para 1,74x tem o formato esperado: quando a GPU está ocupada, sobra menos computação livre para rascunhar.
- Um preprint. O artigo está depositado no Zenodo, sem revisão por pares. O arquivo anexo traz o inventário de evidências e os dados das figuras, o que permite que outros o confiram.
- Autorrelatado. A BroadNet executou as duas variantes. A concordância de 3% com a implementação de referência é a verificação que o próprio artigo faz sobre isso.
Por que isso importa se você só chama uma API?
O throughput por GPU define quanto um provedor pode cobrar e com que rapidez ele responde sob carga. O catálogo da BroadNet relata que ela mede métodos de drafting na concorrência real antes de escolher um, e que descartou o EAGLE3 depois que ele custou 69% do throughput com 32 requisições simultâneas. O estudo seguinte com o Gemma 4 26B aplica o mesmo método ao modelo mixture of experts que a BroadNet vende como Gemma 4 VL 26B. Para ver como isso se encaixa nas escolhas de serving mais amplas da BroadNet, leia o hardware de GPU da BroadNet e sua abordagem de serving.
Se você roda seus próprios servidores vLLM, a lição prática é fazer benchmark de qualquer método de drafting na concorrência que você realmente usa, não com um stream só.
