---
title: "Uno in vLLM: lo studio di BroadNet, DOI e risultati | BroadRouter"
description: "BroadNet ha integrato in vLLM l’adapter di self-drafting Uno e l’ha misurato su una H100: 2,58x il throughput con uno stream, 1,74x con 32. Metodo, DOI e limiti."
url: https://broadrouter.com/it/blog/uno-in-vllm-serving-study/
lang: it
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (aggiornato il 2026-11-15).

# Uno in vLLM: che cosa ha misurato lo studio di BroadNet

A cura del team di BroadNet Inference · 4 min di lettura · Pubblicato 2026-11-15

Uno in vLLM è un preprint di BroadNet di settembre 2026 (DOI 10.5281/zenodo.22652610). Aggiunge a vLLM Uno, un adapter che permette a un modello di proporre da sé i propri token. Su una H100 con Qwen3-8B, BroadNet ha misurato 2,58 volte il throughput di vLLM semplice con uno stream, 2,20 volte con otto e 1,74 volte con 32, entro il 3% dall’implementazione di riferimento.

## Punti chiave

-   Il paper è un preprint su Zenodo, DOI 10.5281/zenodo.22652610, pubblicato l’8 settembre 2026 con licenza CC BY 4.0. Non è sottoposto a revisione paritaria.
-   Uno è il metodo di IFM; il contributo di BroadNet è l’integrazione nativa in vLLM e le misure di serving.
-   Su un carico controllato di matematica con H100 e Qwen3-8B: 2,58x vLLM semplice con 1 stream, 2,20x con 8, 1,74x con 32.
-   Con le impostazioni di produzione, 7.657 token al secondo con 32 stream, contro 7.505 del riferimento SGLang.
-   I guadagni valgono per un modello, un carico di lavoro e impostazioni specifiche. Misurali sul tuo traffico prima di farci affidamento.

**In questa pagina**

1.  Quale problema affronta Uno?
2.  Che cosa ha costruito BroadNet?
3.  Come è stato misurato?
4.  Che cosa ha trovato lo studio?
5.  Quali sono i limiti?
6.  Perché conta se chiami solo un’API?

Uno in vLLM è un preprint della divisione di ricerca di BroadNet, pubblicato su Zenodo l’8 settembre 2026 con DOI [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610). Descrive un’implementazione nativa in vLLM di Uno, un metodo di speculative decoding sviluppato da IFM, e misura quanto più velocemente serve rispetto a vLLM semplice. Il record su Zenodo indica come autore Mohammad Al Zubaidi.

Questa pagina riassume che cosa dice il paper, come l’ha misurato e che cosa ti dice e non ti dice. I numeri sono di BroadNet; non li abbiamo riprodotti.

## Quale problema affronta Uno?

Un modello linguistico normalmente genera un token per forward pass. Lo speculative decoding accelera il processo indovinando diversi token in anticipo e verificandoli in un solo passaggio del modello completo. La maggior parte dei metodi usa un modello di bozza separato e più piccolo. Uno invece collega al modello stesso un adapter addestrato, così il modello propone da sé i propri token e poi li verifica con i pesi originali. Vedi [speculative decoding](https://broadrouter.com/it/glossary/speculative-decoding/) per l’idea generale.

La domanda del paper è pratica: questa accelerazione sopravvive dentro un motore di serving di produzione, con batching, caching e molte richieste insieme?

## Che cosa ha costruito BroadNet?

Il post sul blog di BroadNet è chiaro sui meriti: il metodo è “Uno, developed by IFM and collaborators” (traduzione: «Uno, sviluppato da IFM e collaboratori»), e il contributo di BroadNet è “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (traduzione: «l’integrazione nativa in vLLM, l’ingegneria che fa funzionare insieme i suoi percorsi di esecuzione e la valutazione del serving»). L’abstract elenca i pezzi dell’esecuzione: instradamento condizionale dell’adapter, stato key/value completo della bozza, scheduling asincrono, replay dei CUDA graph, calcolo dell’adapter sovrapposto e riuso delle righe seme.

Il codice è pubblico nel [repository vllm-uno](https://github.com/brntech/vllm-uno) di BroadNet, che l’ha proposto upstream a vLLM come pull request 55947.

## Come è stato misurato?

Il test principale è controllato:

-   **Hardware e modello:** una NVIDIA H100, Qwen3-8B in bfloat16, con l’adapter Uno pubblicato per Qwen3-8B.
-   **Carico di lavoro:** otto prompt di matematica, ripetuti a ciclo per riempire batch più grandi, ciascuno con fino a 512 token generati, con il prefix caching disattivato.
-   **Baseline:** vLLM autoregressivo ordinario («vLLM semplice») sulla stessa configurazione.
-   **Concorrenza:** 1, 8 e 32 stream simultanei.

Un secondo confronto, separato, attiva il prefix caching e usa le impostazioni di serving scelte da BroadNet, per confrontarsi con l’implementazione di riferimento in SGLang.

## Che cosa ha trovato lo studio?

| Misura | Risultato riportato da BroadNet |
| --- | --- |
| Throughput rispetto a vLLM semplice, 1 stream | 2,58x |
| Throughput rispetto a vLLM semplice, 8 stream | 2,20x |
| Throughput rispetto a vLLM semplice, 32 stream | 1,74x |
| Distanza dall’implementazione di riferimento SGLang | entro il 3% con 1, 8 e 32 stream |
| Impostazioni di produzione, 32 stream | 7.657 token/s, contro 7.505 di SGLang (2,0% avanti) |
| Latenza del primo token a caldo, ablazione dentro vLLM | 25% più bassa con due processi API invece di uno |

Il dato chiave per la pianificazione della capacità è l’ultima riga del primo blocco: il 74% di output in più al secondo con 32 stream concorrenti, dalla stessa GPU. È quello che il blog di BroadNet chiama “the central payoff” (traduzione: «il guadagno centrale»), perché un’accelerazione che sparisce sotto carico serve a poco per un’API condivisa.

Una release successiva (v0.2.0, su Model Runner V2 di vLLM) è descritta sul blog di BroadNet con un output su stream singolo da 2,1 a 2,4 volte su Blackwell, da 1,7 a 1,9 volte su Ampere e 2,6 volte su Hopper. Sono hardware e versioni diversi da quelli della tabella principale del paper, ed è per questo che le cifre differiscono.

## Quali sono i limiti?

-   **Un modello, un carico di lavoro.** Il risultato controllato riguarda Qwen3-8B su prompt di matematica. Codice, chat o documenti lunghi possono far accettare meno token proposti.
-   **I guadagni calano con il carico.** L’andamento da 2,58x a 1,74x ha la forma attesa: quando la GPU è occupata, il calcolo libero per il drafting si esaurisce.
-   **Un preprint.** Il paper è depositato su Zenodo, non sottoposto a revisione paritaria. L’archivio allegato contiene l’inventario delle evidenze e i dati delle figure, ed è ciò che permette ad altri di verificarlo.
-   **Dati autodichiarati.** BroadNet ha eseguito entrambe le varianti. L’accordo entro il 3% con l’implementazione di riferimento è la verifica che il paper stesso fa su questo punto.

## Perché conta se chiami solo un’API?

Il throughput per GPU determina quanto un provider può far pagare e quanto velocemente risponde sotto carico. Il catalogo di BroadNet riporta che misura i metodi di drafting alla concorrenza reale prima di sceglierne uno, e che ha scartato EAGLE3 dopo che è costato il 69% del throughput con 32 richieste concorrenti. Lo [studio successivo su Gemma 4 26B](https://broadrouter.com/it/blog/uno-mixture-of-experts-gemma-4-study/) applica lo stesso metodo al modello mixture of experts che BroadNet vende come [Gemma 4 VL 26B](https://broadrouter.com/it/models/gemma-4-vl-26b/). Per come questo si inserisce nelle scelte di serving più ampie di BroadNet, vedi [l’hardware GPU di BroadNet e il suo approccio al serving](https://broadrouter.com/it/blog/broadnet-gpu-fleet-and-serving/).

Se gestisci i tuoi server vLLM, la lezione pratica è fare il benchmark di qualsiasi metodo di drafting alla concorrenza che usi davvero, non con uno stream solo.

Strumenti gratuiti sul tema (in inglese)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Strumenti gratuiti (in inglese)](https://broadrouter.com/tools/)

## Termini in questo articolo

[vLLM](https://broadrouter.com/it/glossary/vllm/)

vLLM è una libreria open source per l’inferenza e il serving di LLM, sviluppata inizialmente allo Sky Computing Lab di UC Berkeley. Gestisce la memoria della KV cache con PagedAttention, raggruppa in batch continuo le richieste in arrivo, supporta molti formati di quantizzazione ed espone un server HTTP compatibile OpenAI.

[Token](https://broadrouter.com/it/glossary/token/)

Un token è l’unità di testo che un modello linguistico legge e scrive: una parola, una parte di parola, un segno di punteggiatura o una sequenza di byte prodotta dal tokenizer del modello. Le API LLM contano, limitano e di solito fatturano l’uso in token.

[Throughput](https://broadrouter.com/it/glossary/throughput/)

Il throughput, nel serving di LLM, è la quantità totale di lavoro che un sistema completa per unità di tempo su tutte le richieste concorrenti, di solito misurata in token di output al secondo o richieste al secondo. È diverso dalla velocità per stream, cioè quanto rapidamente una singola richiesta riceve i suoi token.

[Concorrenza (concurrency)](https://broadrouter.com/it/glossary/concurrency/)

La concorrenza è il numero di richieste che un client ha in corso nello stesso momento. Le API LLM spesso la limitano per chiave o per piano, separatamente dalle richieste al minuto, perché ogni richiesta aperta occupa capacità GPU finché la sua risposta non è terminata.

[Speculative decoding (decodifica speculativa)](https://broadrouter.com/it/glossary/speculative-decoding/)

Lo speculative decoding (decodifica speculativa) è una tecnica di inferenza in cui un modello draft piccolo e veloce propone diversi token successivi e il modello target, più grande, li verifica in un solo forward pass, tenendo quelli accettati. Accelera la generazione senza cambiare la distribuzione dell’output.

[Mixture of experts (MoE)](https://broadrouter.com/it/glossary/mixture-of-experts/)

La mixture of experts (MoE) è un’architettura di rete neurale in cui un layer contiene molte sotto-reti esperte e un router appreso manda ogni token solo ad alcune di esse. Un modello linguistico MoE ha un numero totale di parametri elevato, ma per ogni token ne usa un piccolo sottoinsieme attivo.

[Time to first token (TTFT)](https://broadrouter.com/it/glossary/time-to-first-token/)

Il time to first token (TTFT) è il tempo che passa dall’invio di una richiesta a un modello linguistico all’arrivo del primo token di output. Comprende il tempo di rete, la coda sul server e il prefill, la fase in cui il modello legge l’intero prompt, quindi cresce con la lunghezza del prompt e con il carico.

## Domande frequenti

### Che cos’è Uno?

Uno è un metodo di speculative decoding sviluppato da IFM e collaboratori. Un piccolo adapter addestrato permette al modello di proporre più token alla volta, che poi vengono verificati dai pesi del modello stesso. Non c’è un modello di bozza separato.

### L’accelerazione è senza perdite?

BroadNet lo afferma per la sua release: ogni volta che vLLM semplice riproduce il proprio output, Uno ne eguaglia i token greedy, e i test sulla distribuzione campionata passano. Lo speculative decoding verifica ogni token proposto con il modello completo, quindi la qualità dell’output non dovrebbe cambiare; verificalo sui tuoi prompt.

### Uno aiuta con alta concorrenza?

Meno che con bassa concorrenza. Nel test controllato del paper il guadagno è sceso da 2,58x con uno stream a 1,74x con 32. Il catalogo di BroadNet riporta anche che un altro metodo, EAGLE3, è costato il 69% del throughput con 32 richieste concorrenti, quindi i metodi di drafting vanno testati al tuo carico reale.

### Posso eseguirlo da solo?

Sì. BroadNet pubblica l’implementazione nel suo repository vllm-uno, con un’immagine container, versioni fissate e un registro di validazione per ogni release, e l’ha proposta a vLLM come pull request 55947.

### BroadNet Inference usa Uno per i modelli della sua API?

BroadNet non lo dice. Il suo catalogo indica in produzione drafter multi-token prediction (k=2) per Gemma 4 26B. Uno è un risultato di ricerca che BroadNet pubblica; chiedi a BroadNet se ti serve su un endpoint privato.

## Continua a leggere

-   [Uno su Gemma 4 26B: lo studio di BroadNet sul mixture of experts](https://broadrouter.com/it/blog/uno-mixture-of-experts-gemma-4-study/)
-   [Hardware GPU e serving di BroadNet, come li descrive BroadNet](https://broadrouter.com/it/blog/broadnet-gpu-fleet-and-serving/)
-   [Latenza degli LLM: TTFT, token al secondo e tempo end-to-end](https://broadrouter.com/it/blog/llm-latency-ttft-throughput/)
-   [I modelli che BroadNet ha valutato e scartato, e perché](https://broadrouter.com/it/blog/models-broadnet-ruled-out/)
-   [Cache delle risposte delle API LLM: una cache esatta in Python](https://broadrouter.com/it/blog/cache-llm-responses-cut-cost/)
-   [Revisione umana nel flusso di document AI: regole e code](https://broadrouter.com/it/blog/document-review-queues/)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**Fonti**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, preprint Zenodo v1.0, 2026-09-08 (record consultato il 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: paper pubblicati e risultati principali (consultato il 2026-11-15) (in inglese)](https://www.broadnet.ai/research)
-   [Blog di BroadNet, Bringing Uno to vLLM (8 settembre 2026; consultato il 2026-11-15) (in inglese)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [Repository vllm-uno, BroadNet (consultato il 2026-11-15)](https://github.com/brntech/vllm-uno)
-   [IFM, repository del progetto Uno (consultato il 2026-11-15)](https://github.com/ifm-ai/uno)
