Uno in vLLM è un preprint della divisione di ricerca di BroadNet, pubblicato su Zenodo l’8 settembre 2026 con DOI 10.5281/zenodo.22652610. Descrive un’implementazione nativa in vLLM di Uno, un metodo di speculative decoding sviluppato da IFM, e misura quanto più velocemente serve rispetto a vLLM semplice. Il record su Zenodo indica come autore Mohammad Al Zubaidi.
Questa pagina riassume che cosa dice il paper, come l’ha misurato e che cosa ti dice e non ti dice. I numeri sono di BroadNet; non li abbiamo riprodotti.
Quale problema affronta Uno?
Un modello linguistico normalmente genera un token per forward pass. Lo speculative decoding accelera il processo indovinando diversi token in anticipo e verificandoli in un solo passaggio del modello completo. La maggior parte dei metodi usa un modello di bozza separato e più piccolo. Uno invece collega al modello stesso un adapter addestrato, così il modello propone da sé i propri token e poi li verifica con i pesi originali. Vedi speculative decoding per l’idea generale.
La domanda del paper è pratica: questa accelerazione sopravvive dentro un motore di serving di produzione, con batching, caching e molte richieste insieme?
Che cosa ha costruito BroadNet?
Il post sul blog di BroadNet è chiaro sui meriti: il metodo è “Uno, developed by IFM and collaborators” (traduzione: «Uno, sviluppato da IFM e collaboratori»), e il contributo di BroadNet è “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (traduzione: «l’integrazione nativa in vLLM, l’ingegneria che fa funzionare insieme i suoi percorsi di esecuzione e la valutazione del serving»). L’abstract elenca i pezzi dell’esecuzione: instradamento condizionale dell’adapter, stato key/value completo della bozza, scheduling asincrono, replay dei CUDA graph, calcolo dell’adapter sovrapposto e riuso delle righe seme.
Il codice è pubblico nel repository vllm-uno di BroadNet, che l’ha proposto upstream a vLLM come pull request 55947.
Come è stato misurato?
Il test principale è controllato:
- Hardware e modello: una NVIDIA H100, Qwen3-8B in bfloat16, con l’adapter Uno pubblicato per Qwen3-8B.
- Carico di lavoro: otto prompt di matematica, ripetuti a ciclo per riempire batch più grandi, ciascuno con fino a 512 token generati, con il prefix caching disattivato.
- Baseline: vLLM autoregressivo ordinario («vLLM semplice») sulla stessa configurazione.
- Concorrenza: 1, 8 e 32 stream simultanei.
Un secondo confronto, separato, attiva il prefix caching e usa le impostazioni di serving scelte da BroadNet, per confrontarsi con l’implementazione di riferimento in SGLang.
Che cosa ha trovato lo studio?
| Misura | Risultato riportato da BroadNet |
|---|---|
| Throughput rispetto a vLLM semplice, 1 stream | 2,58x |
| Throughput rispetto a vLLM semplice, 8 stream | 2,20x |
| Throughput rispetto a vLLM semplice, 32 stream | 1,74x |
| Distanza dall’implementazione di riferimento SGLang | entro il 3% con 1, 8 e 32 stream |
| Impostazioni di produzione, 32 stream | 7.657 token/s, contro 7.505 di SGLang (2,0% avanti) |
| Latenza del primo token a caldo, ablazione dentro vLLM | 25% più bassa con due processi API invece di uno |
Il dato chiave per la pianificazione della capacità è l’ultima riga del primo blocco: il 74% di output in più al secondo con 32 stream concorrenti, dalla stessa GPU. È quello che il blog di BroadNet chiama “the central payoff” (traduzione: «il guadagno centrale»), perché un’accelerazione che sparisce sotto carico serve a poco per un’API condivisa.
Una release successiva (v0.2.0, su Model Runner V2 di vLLM) è descritta sul blog di BroadNet con un output su stream singolo da 2,1 a 2,4 volte su Blackwell, da 1,7 a 1,9 volte su Ampere e 2,6 volte su Hopper. Sono hardware e versioni diversi da quelli della tabella principale del paper, ed è per questo che le cifre differiscono.
Quali sono i limiti?
- Un modello, un carico di lavoro. Il risultato controllato riguarda Qwen3-8B su prompt di matematica. Codice, chat o documenti lunghi possono far accettare meno token proposti.
- I guadagni calano con il carico. L’andamento da 2,58x a 1,74x ha la forma attesa: quando la GPU è occupata, il calcolo libero per il drafting si esaurisce.
- Un preprint. Il paper è depositato su Zenodo, non sottoposto a revisione paritaria. L’archivio allegato contiene l’inventario delle evidenze e i dati delle figure, ed è ciò che permette ad altri di verificarlo.
- Dati autodichiarati. BroadNet ha eseguito entrambe le varianti. L’accordo entro il 3% con l’implementazione di riferimento è la verifica che il paper stesso fa su questo punto.
Perché conta se chiami solo un’API?
Il throughput per GPU determina quanto un provider può far pagare e quanto velocemente risponde sotto carico. Il catalogo di BroadNet riporta che misura i metodi di drafting alla concorrenza reale prima di sceglierne uno, e che ha scartato EAGLE3 dopo che è costato il 69% del throughput con 32 richieste concorrenti. Lo studio successivo su Gemma 4 26B applica lo stesso metodo al modello mixture of experts che BroadNet vende come Gemma 4 VL 26B. Per come questo si inserisce nelle scelte di serving più ampie di BroadNet, vedi l’hardware GPU di BroadNet e il suo approccio al serving.
Se gestisci i tuoi server vLLM, la lezione pratica è fare il benchmark di qualsiasi metodo di drafting alla concorrenza che usi davvero, non con uno stream solo.
