---
title: "Uno trong vLLM: nghiên cứu BroadNet, DOI và kết quả | BroadRouter"
description: "BroadNet tích hợp adapter tự soạn nháp Uno vào vLLM và đo trên H100: throughput gấp 2,58 lần bản thường ở 1 luồng, 1,74 lần ở 32 luồng. Phương pháp, DOI và giới hạn."
url: https://broadrouter.com/vi/blog/uno-in-vllm-serving-study/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (cập nhật ngày 2026-11-15).

# Uno trong vLLM: nghiên cứu phục vụ của BroadNet đã đo những gì

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày 2026-11-15

Uno trong vLLM là preprint tháng 9 năm 2026 của BroadNet (DOI 10.5281/zenodo.22652610). Nó đưa Uno, một adapter cho phép model tự soạn nháp token của chính mình, vào vLLM. Trên H100 với Qwen3-8B, BroadNet đo được throughput gấp 2,58 lần vLLM thường ở một luồng, 2,20 lần ở tám luồng và 1,74 lần ở 32 luồng, chênh không quá 3% so với bản cài đặt tham chiếu.

## Ý chính

-   Bài báo là một preprint trên Zenodo, DOI 10.5281/zenodo.22652610, công bố ngày 8 tháng 9 năm 2026 theo giấy phép CC BY 4.0. Chưa qua bình duyệt.
-   Uno là phương pháp của IFM; đóng góp của BroadNet là phần tích hợp gốc vào vLLM và các phép đo khi phục vụ.
-   Trên tải toán học có kiểm soát với H100 và Qwen3-8B: gấp 2,58 lần vLLM thường ở 1 luồng, 2,20 lần ở 8, 1,74 lần ở 32.
-   Với thiết lập production, 7.657 token mỗi giây ở 32 luồng, so với 7.505 của bản tham chiếu SGLang.
-   Mức tăng này áp dụng cho một model, một tải công việc và các thiết lập cụ thể. Hãy đo trên lưu lượng của bạn trước khi dựa vào nó.

**Trong trang này**

1.  Uno giải quyết vấn đề gì?
2.  BroadNet đã xây dựng gì?
3.  Nó được đo như thế nào?
4.  Nghiên cứu phát hiện điều gì?
5.  Giới hạn là gì?
6.  Vì sao điều này quan trọng nếu bạn chỉ gọi API?

Uno trong vLLM là một preprint từ bộ phận nghiên cứu của BroadNet, công bố trên Zenodo ngày 8 tháng 9 năm 2026 với DOI [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610). Bài báo trình bày một bản cài đặt gốc trong vLLM của Uno, một phương pháp speculative decoding do IFM phát triển, và đo xem nó phục vụ nhanh hơn vLLM thường bao nhiêu. Bản ghi Zenodo ghi tác giả là Mohammad Al Zubaidi.

Trang này tóm tắt những gì bài báo nói, cách nó đo, và những gì nó cho bạn biết hoặc không cho bạn biết. Các con số là của BroadNet; chúng tôi chưa tái lập chúng.

## Uno giải quyết vấn đề gì?

Một model ngôn ngữ thường sinh một token mỗi lượt forward. Speculative decoding tăng tốc việc này bằng cách đoán trước vài token và kiểm tra chúng trong một lượt của toàn bộ model. Phần lớn phương pháp dùng một model nháp riêng, nhỏ hơn. Uno thì gắn một adapter đã huấn luyện vào chính model, để model tự soạn nháp token của mình rồi kiểm chứng bằng trọng số gốc. Xem [speculative decoding](https://broadrouter.com/vi/glossary/speculative-decoding/) để hiểu ý tưởng chung.

Câu hỏi của bài báo mang tính thực tế: mức tăng tốc đó có còn nguyên bên trong một engine phục vụ production, với batching, caching và nhiều request cùng lúc không?

## BroadNet đã xây dựng gì?

Bài blog của BroadNet ghi công rất rõ: “Uno, developed by IFM and collaborators” (bản dịch: Uno, do IFM và các cộng sự phát triển) là phương pháp, còn đóng góp của BroadNet là “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (bản dịch: phần tích hợp gốc vào vLLM, phần kỹ thuật giúp các luồng thực thi của nó hoạt động cùng nhau, và phần đánh giá khi phục vụ). Phần tóm tắt liệt kê các thành phần thực thi: định tuyến adapter có điều kiện, trạng thái key/value nháp đầy đủ, lập lịch bất đồng bộ, phát lại CUDA graph, chồng lấp tính toán adapter và tái sử dụng dòng seed.

Code được công khai trong [repository vllm-uno](https://github.com/brntech/vllm-uno) của BroadNet, và BroadNet đã đề xuất nó lên vLLM upstream dưới dạng pull request 55947.

## Nó được đo như thế nào?

Thử nghiệm chính là một thử nghiệm có kiểm soát:

-   **Phần cứng và model:** một NVIDIA H100, Qwen3-8B ở bfloat16, với adapter Uno Qwen3-8B đã công bố.
-   **Tải công việc:** tám prompt toán học, lặp vòng để lấp đầy các batch lớn hơn, mỗi prompt sinh tối đa 512 token, tắt prefix caching.
-   **Mốc so sánh:** vLLM tự hồi quy thông thường (“plain vLLM”) trên cùng thiết lập.
-   **Độ đồng thời:** 1, 8 và 32 luồng đồng thời.

Một phép so sánh thứ hai, riêng biệt, bật prefix caching và dùng các thiết lập phục vụ mà BroadNet chọn, để so với bản cài đặt tham chiếu SGLang.

## Nghiên cứu phát hiện điều gì?

| Phép đo | Kết quả do BroadNet báo cáo |
| --- | --- |
| Throughput so với vLLM thường, 1 luồng | 2,58 lần |
| Throughput so với vLLM thường, 8 luồng | 2,20 lần |
| Throughput so với vLLM thường, 32 luồng | 1,74 lần |
| Chênh lệch so với bản cài đặt tham chiếu SGLang | trong vòng 3% ở 1, 8 và 32 luồng |
| Thiết lập production, 32 luồng | 7.657 token/giây, so với 7.505 của SGLang (nhanh hơn 2,0%) |
| Độ trễ token đầu tiên khi đã khởi động, thử nghiệm loại trừ trong vLLM | thấp hơn 25% với hai tiến trình API thay vì một |

Điểm mấu chốt cho việc lập kế hoạch năng lực là dòng cuối của khối đầu tiên: thêm 74% đầu ra mỗi giây ở 32 luồng đồng thời, trên cùng một GPU. Blog của BroadNet gọi đó là “the central payoff” (bản dịch: thành quả cốt lõi), vì một mức tăng tốc biến mất khi có tải thì chẳng giúp được bao nhiêu cho một API dùng chung.

Một bản phát hành sau (v0.2.0, trên Model Runner V2 của vLLM) được blog của BroadNet mô tả với đầu ra một luồng gấp 2,1 đến 2,4 lần trên Blackwell, 1,7 đến 1,9 lần trên Ampere và 2,6 lần trên Hopper. Đó là phần cứng và phiên bản khác với bảng chính của bài báo, nên các con số khác nhau.

## Giới hạn là gì?

-   **Một model, một tải công việc.** Kết quả có kiểm soát là Qwen3-8B trên prompt toán học. Code, chat hay tài liệu dài có thể chấp nhận ít token nháp hơn.
-   **Mức tăng giảm khi tải tăng.** Xu hướng từ 2,58 lần xuống 1,74 lần là hình dạng được dự đoán trước: khi GPU bận, năng lực tính toán dư cho việc soạn nháp cạn dần.
-   **Một preprint.** Bài báo được lưu trên Zenodo, chưa qua bình duyệt. Kho lưu trữ đi kèm chứa danh mục bằng chứng và dữ liệu biểu đồ, giúp người khác kiểm tra được.
-   **Tự báo cáo.** BroadNet chạy cả hai nhánh so sánh. Mức khớp 3% với bản cài đặt tham chiếu là phép kiểm tra của chính bài báo cho điều đó.

## Vì sao điều này quan trọng nếu bạn chỉ gọi API?

Throughput trên mỗi GPU quyết định mức giá nhà cung cấp có thể đưa ra và tốc độ phản hồi khi có tải. Catalogue của BroadNet cho biết họ đo các phương pháp soạn nháp ở độ đồng thời thực trước khi chọn, và đã loại EAGLE3 sau khi nó làm mất 69% throughput ở 32 request đồng thời. [Nghiên cứu tiếp theo trên Gemma 4 26B](https://broadrouter.com/vi/blog/uno-mixture-of-experts-gemma-4-study/) áp dụng cùng phương pháp cho model mixture-of-experts mà BroadNet bán dưới tên [Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/). Để xem điều này khớp thế nào với các lựa chọn phục vụ rộng hơn của BroadNet, xem [phần cứng GPU và cách phục vụ của BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/).

Nếu bạn tự vận hành server vLLM, bài học thực tế là hãy benchmark mọi phương pháp soạn nháp ở độ đồng thời bạn thật sự chạy, không phải ở một luồng.

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[vLLM](https://broadrouter.com/vi/glossary/vllm/)

vLLM là thư viện mã nguồn mở để chạy suy luận và phục vụ (serving) LLM, ban đầu được phát triển tại Sky Computing Lab của UC Berkeley. Nó quản lý bộ nhớ KV cache bằng PagedAttention, gom request liên tục theo continuous batching, hỗ trợ nhiều định dạng lượng tử hóa và cung cấp HTTP server tương thích OpenAI.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/)

Throughput (thông lượng), trong việc phục vụ LLM, là tổng khối lượng công việc một hệ thống hoàn thành trong một đơn vị thời gian trên mọi request đồng thời, thường đo bằng token đầu ra mỗi giây hoặc request mỗi giây. Nó khác với tốc độ từng luồng, tức tốc độ một request nhận token của nó.

[Speculative decoding (giải mã suy đoán)](https://broadrouter.com/vi/glossary/speculative-decoding/)

Speculative decoding là kỹ thuật inference trong đó một model nháp nhỏ, nhanh đề xuất vài token tiếp theo, rồi model đích lớn kiểm tra chúng trong một lượt forward pass và giữ lại các token được chấp nhận. Nó tăng tốc sinh văn bản mà không thay đổi phân phối của output.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/)

Với API model ngôn ngữ, độ trễ (latency) là thời gian từ lúc gửi request tới khi nhận được token đầu ra cuối cùng. Nó bằng thời gian tới token đầu tiên cộng thời gian sinh, và thường được báo cáo theo percentile như p50 và p95 thay vì giá trị trung bình.

[Thời gian tới token đầu tiên (TTFT)](https://broadrouter.com/vi/glossary/time-to-first-token/)

Thời gian tới token đầu tiên (TTFT) là khoảng thời gian từ lúc gửi request tới model ngôn ngữ cho tới khi token đầu ra đầu tiên đến. Nó gồm thời gian mạng, thời gian xếp hàng trên server và prefill, bước model đọc toàn bộ prompt, nên tăng theo độ dài prompt và tải.

## Câu hỏi thường gặp

### Uno là gì?

Uno là một phương pháp speculative decoding do IFM và các cộng sự phát triển. Một adapter nhỏ đã huấn luyện cho phép model đề xuất nhiều token cùng lúc, rồi chính trọng số của model kiểm chứng chúng. Không có model nháp riêng.

### Mức tăng tốc có lossless không?

BroadNet nói là có đối với bản phát hành của họ: bất cứ khi nào vLLM thường tái lập được đầu ra của chính nó, Uno khớp với các token greedy của nó, và các bài kiểm tra phân phối lấy mẫu đều đạt. Speculative decoding kiểm chứng mọi token nháp bằng toàn bộ model, nên chất lượng đầu ra không nên thay đổi; hãy kiểm tra trên prompt của bạn.

### Uno có giúp ích khi độ đồng thời cao không?

Ít hơn so với khi độ đồng thời thấp. Trong thử nghiệm có kiểm soát của bài báo, mức tăng giảm từ 2,58 lần ở một luồng xuống 1,74 lần ở 32 luồng. Catalogue của BroadNet cũng báo cáo rằng một phương pháp khác, EAGLE3, làm mất 69% throughput ở 32 request đồng thời, nên các phương pháp soạn nháp cần được thử ở tải thực của bạn.

### Tôi có tự chạy được không?

Có. BroadNet công bố bản cài đặt trong repository vllm-uno, kèm container image, phiên bản cố định và hồ sơ kiểm chứng cho mỗi bản phát hành, và đã đề xuất nó cho vLLM dưới dạng pull request 55947.

### BroadNet Inference có dùng Uno cho các model API không?

BroadNet không nói vậy. Catalogue của họ liệt kê drafter dự đoán đa token (k=2) trong production cho Gemma 4 26B. Uno là một kết quả nghiên cứu mà BroadNet công bố; hãy hỏi BroadNet nếu bạn cần nó trên một endpoint riêng.

## Đọc tiếp

-   [Uno trên Gemma 4 26B: nghiên cứu mixture-of-experts của BroadNet](https://broadrouter.com/vi/blog/uno-mixture-of-experts-gemma-4-study/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Độ trễ LLM: TTFT, token mỗi giây và thời gian end-to-end](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/)
-   [Những model BroadNet đã đánh giá và loại bỏ, kèm lý do](https://broadrouter.com/vi/blog/models-broadnet-ruled-out/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Đưa bước người duyệt vào quy trình AI xử lý tài liệu](https://broadrouter.com/vi/blog/document-review-queues/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**Nguồn**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, preprint Zenodo v1.0, 2026-09-08 (truy cập bản ghi ngày 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: các bài báo đã công bố và phát hiện chính (truy cập ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/research)
-   [Blog BroadNet, Bringing Uno to vLLM (8 tháng 9 năm 2026; truy cập ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [Repository vllm-uno, BroadNet (truy cập ngày 2026-11-15)](https://github.com/brntech/vllm-uno)
-   [IFM, repository dự án Uno (truy cập ngày 2026-11-15)](https://github.com/ifm-ai/uno)
