---
title: "Uno sa vLLM: serving study ng BroadNet, DOI at resulta"
description: "Isinama ng BroadNet ang Uno self-drafting adapter sa vLLM at sinukat sa H100: 2.58x ng plain throughput sa isang stream, 1.74x sa 32. Paraan, DOI at limitasyon."
url: https://broadrouter.com/fil/blog/uno-in-vllm-serving-study/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (na-update noong 2026-11-15).

# Uno sa vLLM: ano ang sinukat ng serving study ng BroadNet

Ng BroadNet Inference team · 4 minutong basa · Nailathala 2026-11-15

Ang Uno in vLLM ay preprint ng BroadNet noong Setyembre 2026 (DOI 10.5281/zenodo.22652610). Idinaragdag nito sa vLLM ang Uno, isang adapter na nagpapa-draft sa model ng sarili nitong token. Sa H100 na may Qwen3-8B, sinukat ng BroadNet ang 2.58 beses ng throughput ng plain vLLM sa isang stream, 2.20 beses sa walo at 1.74 beses sa 32, na nasa loob ng 3% ng reference implementation.

## Mga pangunahing punto

-   Preprint sa Zenodo ang paper, DOI 10.5281/zenodo.22652610, inilathala noong 8 Setyembre 2026 sa ilalim ng CC BY 4.0. Hindi pa ito peer-reviewed.
-   Paraan ng IFM ang Uno; ang ambag ng BroadNet ay ang native na vLLM integration at ang mga serving measurement.
-   Sa kontroladong math workload sa H100 at Qwen3-8B: 2.58x ng plain vLLM sa 1 stream, 2.20x sa 8, 1.74x sa 32.
-   Sa production settings, 7,657 token kada segundo sa 32 stream, laban sa 7,505 ng SGLang reference.
-   Para sa isang model, isang workload at partikular na settings ang mga pagtaas. Sukatin sa sarili mong traffic bago umasa sa mga ito.

**Sa page na ito**

1.  Anong problema ang tinutugunan ng Uno?
2.  Ano ang binuo ng BroadNet?
3.  Paano ito sinukat?
4.  Ano ang natuklasan ng pag-aaral?
5.  Ano ang mga limitasyon?
6.  Bakit ito mahalaga kung tumatawag ka lang sa API?

Ang Uno in vLLM ay preprint mula sa research arm ng BroadNet, na inilathala sa Zenodo noong 8 Setyembre 2026 sa ilalim ng DOI [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610). Iniuulat nito ang native na vLLM implementation ng Uno, isang speculative-decoding na paraan na binuo ng IFM, at sinusukat kung gaano ito kabilis mag-serve kumpara sa plain vLLM. Nakalista sa Zenodo record nito si Mohammad Al Zubaidi bilang may-akda.

Binubuod ng page na ito kung ano ang sinasabi ng paper, paano ito sinukat, at ano ang sinasabi at hindi sinasabi nito sa iyo. Sa BroadNet ang mga numero; hindi pa namin ito na-reproduce.

## Anong problema ang tinutugunan ng Uno?

Karaniwang isang token kada forward pass ang ginagawa ng language model. Pinapabilis ito ng speculative decoding sa pamamagitan ng paghula ng ilang token nang maaga at pag-check sa mga ito sa isang pass ng buong model. Karamihan ng paraan ay gumagamit ng hiwalay at mas maliit na draft model. Sa halip, nagkakabit ang Uno ng sinanay na adapter sa mismong model, kaya ang model ang nagda-draft ng sarili nitong token at saka bine-verify ang mga ito gamit ang orihinal nitong weights. Tingnan ang [speculative decoding](https://broadrouter.com/fil/glossary/speculative-decoding/) para sa pangkalahatang ideya.

Praktikal ang tanong ng paper: nananatili ba ang speed-up na iyon sa loob ng isang production serving engine, na may batching, caching at maraming request nang sabay?

## Ano ang binuo ng BroadNet?

Malinaw ang blog post ng BroadNet tungkol sa kredito: ang paraan ay “Uno, developed by IFM and collaborators” (salin: Uno, na binuo ng IFM at mga katuwang), at ang ambag ng BroadNet ay “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (salin: ang native na vLLM integration, ang engineering na nagpapagana nang magkakasama sa mga execution path nito, at ang serving evaluation). Inililista ng abstract ang mga bahagi ng execution: conditional adapter routing, kumpletong draft key/value state, asynchronous scheduling, CUDA graph replay, overlapping adapter computation at seed-row reuse.

Pampubliko ang code sa [vllm-uno repository](https://github.com/brntech/vllm-uno) ng BroadNet, at iminungkahi na ito ng BroadNet sa upstream ng vLLM bilang pull request 55947.

## Paano ito sinukat?

Kontrolado ang pangunahing test:

-   **Hardware at model:** isang NVIDIA H100, Qwen3-8B sa bfloat16, kasama ang inilathalang Qwen3-8B Uno adapter.
-   **Workload:** walong math prompt, inuulit-ulit para punuin ang mas malalaking batch, bawat isa ay nagge-generate ng hanggang 512 token, na naka-off ang prefix caching.
-   **Baseline:** ordinaryong autoregressive na vLLM (“plain vLLM”) sa parehong setup.
-   **Concurrency:** 1, 8 at 32 sabay-sabay na stream.

Ang ikalawa at hiwalay na paghahambing ay nag-o-on ng prefix caching at gumagamit ng mga piniling serving setting ng BroadNet, para ikumpara sa SGLang reference implementation.

## Ano ang natuklasan ng pag-aaral?

| Sukat | Resultang iniulat ng BroadNet |
| --- | --- |
| Throughput vs plain vLLM, 1 stream | 2.58x |
| Throughput vs plain vLLM, 8 stream | 2.20x |
| Throughput vs plain vLLM, 32 stream | 1.74x |
| Agwat sa SGLang reference implementation | nasa loob ng 3% sa 1, 8 at 32 stream |
| Production settings, 32 stream | 7,657 token/s, laban sa 7,505 ng SGLang (2.0% na lamang) |
| Warm first-token latency, ablation sa loob ng vLLM | 25% na mas mababa gamit ang dalawang API process sa halip na isa |

Ang pinakamahalaga para sa capacity planning ay ang huling row ng unang bahagi: 74% na mas maraming output kada segundo sa 32 sabay na stream, mula sa parehong GPU. Iyan ang tinatawag ng blog ng BroadNet na “the central payoff” (salin: ang pangunahing pakinabang), dahil kakaunti ang naitutulong sa shared na API ng speed-up na nawawala kapag may load.

Inilalarawan sa blog ng BroadNet ang isang mas bagong release (v0.2.0, sa Model Runner V2 ng vLLM) na may 2.1 hanggang 2.4 beses na single-stream output sa Blackwell, 1.7 hanggang 1.9 beses sa Ampere at 2.6 beses sa Hopper. Iba ang hardware at mga bersyon ng mga iyon kaysa sa pangunahing table ng paper, kaya magkakaiba ang mga numero.

## Ano ang mga limitasyon?

-   **Isang model, isang workload.** Qwen3-8B sa mga math prompt ang kontroladong resulta. Puwedeng mas kaunting na-draft na token ang matanggap sa code, chat o mahahabang dokumento.
-   **Lumiliit ang pagtaas kapag may load.** Inaasahang hugis ang trend mula 2.58x papuntang 1.74x: kapag abala ang GPU, nauubos ang ekstrang compute para sa drafting.
-   **Isang preprint.** Naka-deposit sa Zenodo ang paper, hindi pa peer-reviewed. Nasa companion archive nito ang evidence inventory at ang data ng mga figure, na nagbibigay-daan sa iba na suriin ito.
-   **Sariling ulat.** Ang BroadNet ang nagpatakbo ng dalawang arm. Ang 3% na pagkakatugma sa reference implementation ang sariling check ng paper diyan.

## Bakit ito mahalaga kung tumatawag ka lang sa API?

Ang throughput kada GPU ang nagtatakda kung magkano ang kayang singilin ng provider at gaano kabilis itong sumagot kapag may load. Iniulat ng catalogue ng BroadNet na sinusukat nito ang mga drafting method sa totoong concurrency bago pumili, at hindi nito ginamit ang EAGLE3 matapos itong magpabawas ng 69% ng throughput sa 32 sabay na request. Inilalapat ng [kasunod na pag-aaral sa Gemma 4 26B](https://broadrouter.com/fil/blog/uno-mixture-of-experts-gemma-4-study/) ang parehong paraan sa mixture-of-experts model na ibinebenta ng BroadNet bilang [Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/). Para sa kung paano ito umaangkop sa mas malawak na mga desisyon ng BroadNet sa serving, tingnan ang [GPU hardware at serving approach ng BroadNet](https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/).

Kung nagpapatakbo ka ng sarili mong vLLM server, ang praktikal na aral ay i-benchmark ang anumang drafting method sa concurrency na talagang pinapatakbo mo, hindi sa isang stream.

Mga libreng tool para rito (Ingles)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[vLLM](https://broadrouter.com/fil/glossary/vllm/)

Ang vLLM ay isang open-source na library para sa LLM inference at serving, na unang binuo sa Sky Computing Lab ng UC Berkeley. Pinamamahalaan nito ang KV cache memory gamit ang PagedAttention, tuloy-tuloy na bina-batch ang mga papasok na request, sumusuporta sa maraming quantization format at may OpenAI-compatible na HTTP server.

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Throughput](https://broadrouter.com/fil/glossary/throughput/)

Ang throughput, sa LLM serving, ay ang kabuuang trabahong natatapos ng isang system kada yunit ng oras sa lahat ng sabay-sabay na request, kadalasang sinusukat bilang output tokens per second o requests per second. Iba ito sa bilis kada stream, na kung gaano kabilis natatanggap ng iisang request ang mga token nito.

[Concurrency](https://broadrouter.com/fil/glossary/concurrency/)

Ang concurrency ay ang bilang ng request na sabay-sabay na in flight mula sa isang client. Madalas itong nililimitahan ng mga LLM API kada key o plan, hiwalay sa requests per minute, dahil humahawak ng GPU capacity ang bawat bukas na request hanggang matapos ang response nito.

[Speculative decoding](https://broadrouter.com/fil/glossary/speculative-decoding/)

Ang speculative decoding ay inference technique kung saan nagmumungkahi ang isang maliit at mabilis na draft model ng ilang susunod na token, at sabay-sabay itong bine-verify ng malaking target model sa iisang forward pass, saka pinapanatili ang mga tinanggap. Pinapabilis nito ang generation nang hindi binabago ang distribution ng output.

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[Latency](https://broadrouter.com/fil/glossary/latency/)

Ang latency, para sa isang language model API, ay ang tagal ng isang request mula sa pagpapadala hanggang matanggap ang huling output token. Kabuuan ito ng time to first token at ng generation time, at kadalasang iniuulat bilang percentile gaya ng p50 at p95 sa halip na average.

[Mixture of experts (MoE)](https://broadrouter.com/fil/glossary/mixture-of-experts/)

Ang mixture of experts (MoE) ay disenyo ng neural network kung saan may maraming expert sub-network ang isang layer at ipinapadala ng isang natutong router ang bawat token sa iilan lang sa mga ito. Malaki ang kabuuang bilang ng parameter ng isang MoE language model pero maliit na active na bahagi lang ang ginagamit kada token.

## Mga tanong

### Ano ang Uno?

Ang Uno ay speculative-decoding na paraan na binuo ng IFM at mga katuwang nito. Hinahayaan ng maliit na sinanay na adapter ang model na magmungkahi ng ilang token nang sabay, at saka bine-verify ng sariling weights ng model ang mga ito. Walang hiwalay na draft model.

### Lossless ba ang speed-up?

Iyan ang sinasabi ng BroadNet para sa release nito: tuwing nauulit ng plain vLLM ang sarili nitong output, tumutugma ang Uno sa greedy token nito, at pumapasa ang mga sampled-distribution test nito. Bine-verify ng speculative decoding ang bawat na-draft na token gamit ang buong model, kaya hindi dapat magbago ang kalidad ng output; suriin ito sa sarili mong mga prompt.

### Nakakatulong ba ang Uno sa mataas na concurrency?

Mas kaunti kaysa sa mababang concurrency. Sa kontroladong test ng paper, bumaba ang pagtaas mula 2.58x sa isang stream papuntang 1.74x sa 32. Iniulat din ng catalogue ng BroadNet na ang isa pang paraan, ang EAGLE3, ay nagpabawas ng 69% ng throughput sa 32 sabay na request, kaya kailangang subukan ang mga drafting method sa totoong load mo.

### Puwede ko ba itong patakbuhin mismo?

Oo. Inilalathala ng BroadNet ang implementation sa vllm-uno repository nito, na may container image, naka-pin na mga bersyon at validation record para sa bawat release, at iminungkahi na nito ito sa vLLM bilang pull request 55947.

### Ginagamit ba ng BroadNet Inference ang Uno para sa mga API model nito?

Hindi iyon sinasabi ng BroadNet. Naglilista ang catalogue nito ng mga multi-token-prediction drafter (k=2) sa production para sa Gemma 4 26B. Research result na inilalathala ng BroadNet ang Uno; magtanong sa BroadNet kung kailangan mo ito sa isang private endpoint.

## Magbasa pa

-   [Uno sa Gemma 4 26B: ang mixture-of-experts na pag-aaral ng BroadNet](https://broadrouter.com/fil/blog/uno-mixture-of-experts-gemma-4-study/)
-   [GPU hardware at paraan ng serving ng BroadNet, ayon sa BroadNet](https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM latency: TTFT vs tokens per second vs end-to-end na oras](https://broadrouter.com/fil/blog/llm-latency-ttft-throughput/)
-   [Mga model na sinubukan at tinanggihan ng BroadNet, at bakit](https://broadrouter.com/fil/blog/models-broadnet-ruled-out/)
-   [I-cache ang LLM API response, makatipid: exact-match cache sa Python](https://broadrouter.com/fil/blog/cache-llm-responses-cut-cost/)
-   [Gawing bahagi ng document AI workflow mo ang human review](https://broadrouter.com/fil/blog/document-review-queues/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**Mga source**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, Zenodo preprint v1.0, 2026-09-08 (kinuha ang record noong 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: mga inilathalang paper at pangunahing natuklasan (kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/research)
-   [Blog ng BroadNet, Bringing Uno to vLLM (8 Setyembre 2026; kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [vllm-uno repository, BroadNet (kinuha noong 2026-11-15)](https://github.com/brntech/vllm-uno)
-   [IFM, Uno project repository (kinuha noong 2026-11-15)](https://github.com/ifm-ai/uno)
