---
title: "Uno no vLLM: estudo de serving da BroadNet, DOI e dados"
description: "A BroadNet integrou ao vLLM o adapter de self-drafting Uno e o mediu em uma H100: 2,58x o throughput com um stream, 1,74x com 32. Método, DOI e limites."
url: https://broadrouter.com/pt/blog/uno-in-vllm-serving-study/
lang: pt-BR
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (atualizado em 2026-11-15).

# Uno no vLLM: o que o estudo de serving da BroadNet mediu

Pela equipe da BroadNet Inference · 4 min de leitura · Publicado em 2026-11-15

Uno no vLLM é um preprint da BroadNet de setembro de 2026 (DOI 10.5281/zenodo.22652610). Ele adiciona ao vLLM o Uno, um adapter que permite a um modelo rascunhar os próprios tokens. Em uma H100 com Qwen3-8B, a BroadNet mediu 2,58 vezes o throughput do vLLM simples com um stream, 2,20 vezes com oito e 1,74 vez com 32, a menos de 3% da implementação de referência.

## Pontos principais

-   O artigo é um preprint no Zenodo, DOI 10.5281/zenodo.22652610, publicado em 8 de setembro de 2026 sob CC BY 4.0. Não tem revisão por pares.
-   O Uno é um método da IFM; a contribuição da BroadNet é a integração nativa ao vLLM e as medições de serving.
-   Em uma carga controlada de matemática com H100 e Qwen3-8B: 2,58x o vLLM simples com 1 stream, 2,20x com 8, 1,74x com 32.
-   Com as configurações de produção, 7.657 tokens por segundo com 32 streams, contra 7.505 da referência em SGLang.
-   Os ganhos valem para um modelo, uma carga de trabalho e configurações específicas. Meça no seu próprio tráfego antes de contar com eles.

**Nesta página**

1.  Que problema o Uno resolve?
2.  O que a BroadNet construiu?
3.  Como foi medido?
4.  O que o estudo encontrou?
5.  Quais são os limites?
6.  Por que isso importa se você só chama uma API?

Uno no vLLM é um preprint da área de pesquisa da BroadNet, publicado no Zenodo em 8 de setembro de 2026 com o DOI [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610). Ele descreve uma implementação nativa no vLLM do Uno, um método de speculative decoding desenvolvido pela IFM, e mede quanto mais rápido ele serve em comparação com o vLLM simples. O registro no Zenodo lista Mohammad Al Zubaidi como autor.

Esta página resume o que o artigo diz, como mediu e o que ele diz e não diz a você. Os números são da BroadNet; não os reproduzimos.

## Que problema o Uno resolve?

Um modelo de linguagem normalmente gera um token por passagem forward. O speculative decoding acelera isso adivinhando vários tokens adiante e verificando-os em uma única passagem do modelo completo. A maioria dos métodos usa um modelo de rascunho separado e menor. O Uno, em vez disso, acopla um adapter treinado ao próprio modelo, então o modelo rascunha os próprios tokens e depois os verifica com os pesos originais. Veja [speculative decoding](https://broadrouter.com/pt/glossary/speculative-decoding/) para a ideia geral.

A pergunta do artigo é prática: essa aceleração sobrevive dentro de um motor de serving de produção, com batching, cache e muitas requisições ao mesmo tempo?

## O que a BroadNet construiu?

O post no blog da BroadNet deixa claro o crédito: o método é “Uno, developed by IFM and collaborators” (tradução: “Uno, desenvolvido pela IFM e colaboradores”), e a contribuição da BroadNet é “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (tradução: “a integração nativa ao vLLM, a engenharia que faz seus caminhos de execução funcionarem juntos e a avaliação de serving”). O resumo lista as peças de execução: roteamento condicional do adapter, estado key/value completo do rascunho, agendamento assíncrono, replay de CUDA graph, computação do adapter sobreposta e reuso de linhas-semente.

O código é público no [repositório vllm-uno](https://github.com/brntech/vllm-uno) da BroadNet, que o propôs ao vLLM upstream como pull request 55947.

## Como foi medido?

O teste principal é controlado:

-   **Hardware e modelo:** uma NVIDIA H100, Qwen3-8B em bfloat16, com o adapter Uno publicado para o Qwen3-8B.
-   **Carga de trabalho:** oito prompts de matemática, repetidos em ciclo para preencher lotes maiores, cada um gerando até 512 tokens, com prefix caching desligado.
-   **Linha de base:** vLLM autorregressivo comum (“vLLM simples”) na mesma configuração.
-   **Concorrência:** 1, 8 e 32 streams simultâneos.

Uma segunda comparação, separada, liga o prefix caching e usa as configurações de serving escolhidas pela BroadNet, para comparar com a implementação de referência em SGLang.

## O que o estudo encontrou?

| Medição | Resultado relatado pela BroadNet |
| --- | --- |
| Throughput vs vLLM simples, 1 stream | 2,58x |
| Throughput vs vLLM simples, 8 streams | 2,20x |
| Throughput vs vLLM simples, 32 streams | 1,74x |
| Diferença para a implementação de referência em SGLang | menos de 3% com 1, 8 e 32 streams |
| Configurações de produção, 32 streams | 7.657 tokens/s, contra 7.505 do SGLang (2,0% à frente) |
| Latência do primeiro token a quente, ablação dentro do vLLM | 25% menor com dois processos de API em vez de um |

O destaque para planejamento de capacidade é a última linha do primeiro bloco: 74% mais saída por segundo com 32 streams simultâneos, na mesma GPU. É o que o blog da BroadNet chama de “the central payoff” (tradução: “o ganho central”), porque uma aceleração que some sob carga pouco ajuda uma API compartilhada.

Uma release posterior (v0.2.0, no Model Runner V2 do vLLM) é descrita no blog da BroadNet com saída de stream único de 2,1 a 2,4 vezes em Blackwell, de 1,7 a 1,9 vez em Ampere e de 2,6 vezes em Hopper. São hardware e versões diferentes dos da tabela principal do artigo, e por isso os números diferem.

## Quais são os limites?

-   **Um modelo, uma carga de trabalho.** O resultado controlado é do Qwen3-8B em prompts de matemática. Código, chat ou documentos longos podem aceitar menos tokens rascunhados.
-   **Os ganhos encolhem com a carga.** A tendência de 2,58x para 1,74x tem o formato esperado: quando a GPU está ocupada, sobra menos computação livre para rascunhar.
-   **Um preprint.** O artigo está depositado no Zenodo, sem revisão por pares. O arquivo anexo traz o inventário de evidências e os dados das figuras, o que permite que outros o confiram.
-   **Autorrelatado.** A BroadNet executou as duas variantes. A concordância de 3% com a implementação de referência é a verificação que o próprio artigo faz sobre isso.

## Por que isso importa se você só chama uma API?

O throughput por GPU define quanto um provedor pode cobrar e com que rapidez ele responde sob carga. O catálogo da BroadNet relata que ela mede métodos de drafting na concorrência real antes de escolher um, e que descartou o EAGLE3 depois que ele custou 69% do throughput com 32 requisições simultâneas. O [estudo seguinte com o Gemma 4 26B](https://broadrouter.com/pt/blog/uno-mixture-of-experts-gemma-4-study/) aplica o mesmo método ao modelo mixture of experts que a BroadNet vende como [Gemma 4 VL 26B](https://broadrouter.com/pt/models/gemma-4-vl-26b/). Para ver como isso se encaixa nas escolhas de serving mais amplas da BroadNet, leia [o hardware de GPU da BroadNet e sua abordagem de serving](https://broadrouter.com/pt/blog/broadnet-gpu-fleet-and-serving/).

Se você roda seus próprios servidores vLLM, a lição prática é fazer benchmark de qualquer método de drafting na concorrência que você realmente usa, não com um stream só.

Ferramentas gratuitas sobre o tema (em inglês)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Ferramentas gratuitas (em inglês)](https://broadrouter.com/tools/)

## Termos neste artigo

[Token](https://broadrouter.com/pt/glossary/token/)

Um token é a unidade de texto que um modelo de linguagem lê e escreve: uma palavra, parte de uma palavra, um sinal de pontuação ou uma sequência de bytes gerada pelo tokenizador do modelo. As APIs de LLM contam, limitam e normalmente cobram o uso em tokens.

[vLLM](https://broadrouter.com/pt/glossary/vllm/)

vLLM é uma biblioteca open source de inferência e serving de LLMs, desenvolvida originalmente no Sky Computing Lab da UC Berkeley. Ela gerencia a memória do KV cache com PagedAttention, agrupa as requisições em batching contínuo, suporta muitos formatos de quantização e expõe um servidor HTTP compatível com OpenAI.

[Throughput (vazão)](https://broadrouter.com/pt/glossary/throughput/)

Throughput, ou vazão, no serving de LLMs, é a quantidade total de trabalho que um sistema conclui por unidade de tempo em todas as requisições simultâneas, geralmente medida em tokens de saída ou requisições por segundo. É diferente da velocidade por stream, que é a rapidez com que uma única requisição recebe seus tokens.

[Concorrência (concurrency)](https://broadrouter.com/pt/glossary/concurrency/)

Concorrência é o número de requisições que um cliente tem em andamento ao mesmo tempo. APIs de LLM muitas vezes a limitam por chave ou por plano, separadamente das requisições por minuto, porque cada requisição aberta ocupa capacidade de GPU até a resposta terminar.

[Speculative decoding (decodificação especulativa)](https://broadrouter.com/pt/glossary/speculative-decoding/)

Speculative decoding (decodificação especulativa) é uma técnica de inferência em que um modelo draft pequeno e rápido propõe vários próximos tokens e o modelo alvo, maior, os verifica em um único forward pass, mantendo os aceitos. Ela acelera a geração sem mudar a distribuição da saída.

[Mixture of experts (MoE)](https://broadrouter.com/pt/glossary/mixture-of-experts/)

Mixture of experts (MoE) é uma arquitetura de rede neural em que uma camada contém muitas sub-redes especialistas e um roteador aprendido envia cada token para apenas algumas delas. Um modelo de linguagem MoE tem um número total de parâmetros grande, mas usa um pequeno subconjunto ativo para cada token.

[Time to first token (TTFT)](https://broadrouter.com/pt/glossary/time-to-first-token/)

Time to first token (TTFT) é o tempo entre o envio de uma requisição a um modelo de linguagem e a chegada do primeiro token de saída. Inclui o tempo de rede, a fila no servidor e o prefill, etapa em que o modelo lê o prompt inteiro, então cresce com o tamanho do prompt e a carga.

## Perguntas frequentes

### O que é o Uno?

O Uno é um método de speculative decoding desenvolvido pela IFM e colaboradores. Um pequeno adapter treinado permite ao modelo propor vários tokens de uma vez, e os próprios pesos do modelo os verificam em seguida. Não há um modelo de rascunho separado.

### A aceleração é sem perdas?

A BroadNet afirma isso para a sua release: sempre que o vLLM simples reproduz a própria saída, o Uno iguala os tokens greedy, e os testes de distribuição amostrada passam. O speculative decoding verifica cada token rascunhado com o modelo completo, então a qualidade da saída não deve mudar; confira isso nos seus próprios prompts.

### O Uno ajuda com alta concorrência?

Menos do que com baixa concorrência. No teste controlado do artigo, o ganho caiu de 2,58x com um stream para 1,74x com 32. O catálogo da BroadNet também relata que outro método, o EAGLE3, custou 69% do throughput com 32 requisições simultâneas, então métodos de drafting precisam ser testados na sua carga real.

### Posso rodar por conta própria?

Sim. A BroadNet publica a implementação no repositório vllm-uno, com imagem de contêiner, versões fixadas e um registro de validação para cada release, e a propôs ao vLLM como pull request 55947.

### A BroadNet Inference usa o Uno nos modelos da API?

A BroadNet não diz isso. Seu catálogo lista drafters de multi-token prediction (k=2) em produção para o Gemma 4 26B. O Uno é um resultado de pesquisa que a BroadNet publica; pergunte à BroadNet se precisar dele em um endpoint privado.

## Continue lendo

-   [Uno no Gemma 4 26B: o estudo da BroadNet com mixture of experts](https://broadrouter.com/pt/blog/uno-mixture-of-experts-gemma-4-study/)
-   [Hardware de GPU e serving da BroadNet, segundo a própria BroadNet](https://broadrouter.com/pt/blog/broadnet-gpu-fleet-and-serving/)
-   [Latência de LLM: TTFT, tokens por segundo e tempo de ponta a ponta](https://broadrouter.com/pt/blog/llm-latency-ttft-throughput/)
-   [Os modelos que a BroadNet avaliou e descartou, e por quê](https://broadrouter.com/pt/blog/models-broadnet-ruled-out/)
-   [Cache de respostas de LLM para cortar custo: um cache exato em Python](https://broadrouter.com/pt/blog/cache-llm-responses-cut-cost/)
-   [Revisão humana no seu fluxo de IA para documentos](https://broadrouter.com/pt/blog/document-review-queues/)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**Fontes**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, preprint no Zenodo v1.0, 2026-09-08 (registro consultado em 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: artigos publicados e principais resultados (consultado em 2026-11-15) (em inglês)](https://www.broadnet.ai/research)
-   [Blog da BroadNet, Bringing Uno to vLLM (8 de setembro de 2026; consultado em 2026-11-15) (em inglês)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [Repositório vllm-uno, BroadNet (consultado em 2026-11-15)](https://github.com/brntech/vllm-uno)
-   [IFM, repositório do projeto Uno (consultado em 2026-11-15)](https://github.com/ifm-ai/uno)
