Ang Uno in vLLM ay preprint mula sa research arm ng BroadNet, na inilathala sa Zenodo noong 8 Setyembre 2026 sa ilalim ng DOI 10.5281/zenodo.22652610. Iniuulat nito ang native na vLLM implementation ng Uno, isang speculative-decoding na paraan na binuo ng IFM, at sinusukat kung gaano ito kabilis mag-serve kumpara sa plain vLLM. Nakalista sa Zenodo record nito si Mohammad Al Zubaidi bilang may-akda.
Binubuod ng page na ito kung ano ang sinasabi ng paper, paano ito sinukat, at ano ang sinasabi at hindi sinasabi nito sa iyo. Sa BroadNet ang mga numero; hindi pa namin ito na-reproduce.
Anong problema ang tinutugunan ng Uno?
Karaniwang isang token kada forward pass ang ginagawa ng language model. Pinapabilis ito ng speculative decoding sa pamamagitan ng paghula ng ilang token nang maaga at pag-check sa mga ito sa isang pass ng buong model. Karamihan ng paraan ay gumagamit ng hiwalay at mas maliit na draft model. Sa halip, nagkakabit ang Uno ng sinanay na adapter sa mismong model, kaya ang model ang nagda-draft ng sarili nitong token at saka bine-verify ang mga ito gamit ang orihinal nitong weights. Tingnan ang speculative decoding para sa pangkalahatang ideya.
Praktikal ang tanong ng paper: nananatili ba ang speed-up na iyon sa loob ng isang production serving engine, na may batching, caching at maraming request nang sabay?
Ano ang binuo ng BroadNet?
Malinaw ang blog post ng BroadNet tungkol sa kredito: ang paraan ay “Uno, developed by IFM and collaborators” (salin: Uno, na binuo ng IFM at mga katuwang), at ang ambag ng BroadNet ay “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (salin: ang native na vLLM integration, ang engineering na nagpapagana nang magkakasama sa mga execution path nito, at ang serving evaluation). Inililista ng abstract ang mga bahagi ng execution: conditional adapter routing, kumpletong draft key/value state, asynchronous scheduling, CUDA graph replay, overlapping adapter computation at seed-row reuse.
Pampubliko ang code sa vllm-uno repository ng BroadNet, at iminungkahi na ito ng BroadNet sa upstream ng vLLM bilang pull request 55947.
Paano ito sinukat?
Kontrolado ang pangunahing test:
- Hardware at model: isang NVIDIA H100, Qwen3-8B sa bfloat16, kasama ang inilathalang Qwen3-8B Uno adapter.
- Workload: walong math prompt, inuulit-ulit para punuin ang mas malalaking batch, bawat isa ay nagge-generate ng hanggang 512 token, na naka-off ang prefix caching.
- Baseline: ordinaryong autoregressive na vLLM (“plain vLLM”) sa parehong setup.
- Concurrency: 1, 8 at 32 sabay-sabay na stream.
Ang ikalawa at hiwalay na paghahambing ay nag-o-on ng prefix caching at gumagamit ng mga piniling serving setting ng BroadNet, para ikumpara sa SGLang reference implementation.
Ano ang natuklasan ng pag-aaral?
| Sukat | Resultang iniulat ng BroadNet |
|---|---|
| Throughput vs plain vLLM, 1 stream | 2.58x |
| Throughput vs plain vLLM, 8 stream | 2.20x |
| Throughput vs plain vLLM, 32 stream | 1.74x |
| Agwat sa SGLang reference implementation | nasa loob ng 3% sa 1, 8 at 32 stream |
| Production settings, 32 stream | 7,657 token/s, laban sa 7,505 ng SGLang (2.0% na lamang) |
| Warm first-token latency, ablation sa loob ng vLLM | 25% na mas mababa gamit ang dalawang API process sa halip na isa |
Ang pinakamahalaga para sa capacity planning ay ang huling row ng unang bahagi: 74% na mas maraming output kada segundo sa 32 sabay na stream, mula sa parehong GPU. Iyan ang tinatawag ng blog ng BroadNet na “the central payoff” (salin: ang pangunahing pakinabang), dahil kakaunti ang naitutulong sa shared na API ng speed-up na nawawala kapag may load.
Inilalarawan sa blog ng BroadNet ang isang mas bagong release (v0.2.0, sa Model Runner V2 ng vLLM) na may 2.1 hanggang 2.4 beses na single-stream output sa Blackwell, 1.7 hanggang 1.9 beses sa Ampere at 2.6 beses sa Hopper. Iba ang hardware at mga bersyon ng mga iyon kaysa sa pangunahing table ng paper, kaya magkakaiba ang mga numero.
Ano ang mga limitasyon?
- Isang model, isang workload. Qwen3-8B sa mga math prompt ang kontroladong resulta. Puwedeng mas kaunting na-draft na token ang matanggap sa code, chat o mahahabang dokumento.
- Lumiliit ang pagtaas kapag may load. Inaasahang hugis ang trend mula 2.58x papuntang 1.74x: kapag abala ang GPU, nauubos ang ekstrang compute para sa drafting.
- Isang preprint. Naka-deposit sa Zenodo ang paper, hindi pa peer-reviewed. Nasa companion archive nito ang evidence inventory at ang data ng mga figure, na nagbibigay-daan sa iba na suriin ito.
- Sariling ulat. Ang BroadNet ang nagpatakbo ng dalawang arm. Ang 3% na pagkakatugma sa reference implementation ang sariling check ng paper diyan.
Bakit ito mahalaga kung tumatawag ka lang sa API?
Ang throughput kada GPU ang nagtatakda kung magkano ang kayang singilin ng provider at gaano kabilis itong sumagot kapag may load. Iniulat ng catalogue ng BroadNet na sinusukat nito ang mga drafting method sa totoong concurrency bago pumili, at hindi nito ginamit ang EAGLE3 matapos itong magpabawas ng 69% ng throughput sa 32 sabay na request. Inilalapat ng kasunod na pag-aaral sa Gemma 4 26B ang parehong paraan sa mixture-of-experts model na ibinebenta ng BroadNet bilang Gemma 4 VL 26B. Para sa kung paano ito umaangkop sa mas malawak na mga desisyon ng BroadNet sa serving, tingnan ang GPU hardware at serving approach ng BroadNet.
Kung nagpapatakbo ka ng sarili mong vLLM server, ang praktikal na aral ay i-benchmark ang anumang drafting method sa concurrency na talagang pinapatakbo mo, hindi sa isang stream.
