Uno trong vLLM là một preprint từ bộ phận nghiên cứu của BroadNet, công bố trên Zenodo ngày 8 tháng 9 năm 2026 với DOI 10.5281/zenodo.22652610. Bài báo trình bày một bản cài đặt gốc trong vLLM của Uno, một phương pháp speculative decoding do IFM phát triển, và đo xem nó phục vụ nhanh hơn vLLM thường bao nhiêu. Bản ghi Zenodo ghi tác giả là Mohammad Al Zubaidi.
Trang này tóm tắt những gì bài báo nói, cách nó đo, và những gì nó cho bạn biết hoặc không cho bạn biết. Các con số là của BroadNet; chúng tôi chưa tái lập chúng.
Uno giải quyết vấn đề gì?
Một model ngôn ngữ thường sinh một token mỗi lượt forward. Speculative decoding tăng tốc việc này bằng cách đoán trước vài token và kiểm tra chúng trong một lượt của toàn bộ model. Phần lớn phương pháp dùng một model nháp riêng, nhỏ hơn. Uno thì gắn một adapter đã huấn luyện vào chính model, để model tự soạn nháp token của mình rồi kiểm chứng bằng trọng số gốc. Xem speculative decoding để hiểu ý tưởng chung.
Câu hỏi của bài báo mang tính thực tế: mức tăng tốc đó có còn nguyên bên trong một engine phục vụ production, với batching, caching và nhiều request cùng lúc không?
BroadNet đã xây dựng gì?
Bài blog của BroadNet ghi công rất rõ: “Uno, developed by IFM and collaborators” (bản dịch: Uno, do IFM và các cộng sự phát triển) là phương pháp, còn đóng góp của BroadNet là “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (bản dịch: phần tích hợp gốc vào vLLM, phần kỹ thuật giúp các luồng thực thi của nó hoạt động cùng nhau, và phần đánh giá khi phục vụ). Phần tóm tắt liệt kê các thành phần thực thi: định tuyến adapter có điều kiện, trạng thái key/value nháp đầy đủ, lập lịch bất đồng bộ, phát lại CUDA graph, chồng lấp tính toán adapter và tái sử dụng dòng seed.
Code được công khai trong repository vllm-uno của BroadNet, và BroadNet đã đề xuất nó lên vLLM upstream dưới dạng pull request 55947.
Nó được đo như thế nào?
Thử nghiệm chính là một thử nghiệm có kiểm soát:
- Phần cứng và model: một NVIDIA H100, Qwen3-8B ở bfloat16, với adapter Uno Qwen3-8B đã công bố.
- Tải công việc: tám prompt toán học, lặp vòng để lấp đầy các batch lớn hơn, mỗi prompt sinh tối đa 512 token, tắt prefix caching.
- Mốc so sánh: vLLM tự hồi quy thông thường (“plain vLLM”) trên cùng thiết lập.
- Độ đồng thời: 1, 8 và 32 luồng đồng thời.
Một phép so sánh thứ hai, riêng biệt, bật prefix caching và dùng các thiết lập phục vụ mà BroadNet chọn, để so với bản cài đặt tham chiếu SGLang.
Nghiên cứu phát hiện điều gì?
| Phép đo | Kết quả do BroadNet báo cáo |
|---|---|
| Throughput so với vLLM thường, 1 luồng | 2,58 lần |
| Throughput so với vLLM thường, 8 luồng | 2,20 lần |
| Throughput so với vLLM thường, 32 luồng | 1,74 lần |
| Chênh lệch so với bản cài đặt tham chiếu SGLang | trong vòng 3% ở 1, 8 và 32 luồng |
| Thiết lập production, 32 luồng | 7.657 token/giây, so với 7.505 của SGLang (nhanh hơn 2,0%) |
| Độ trễ token đầu tiên khi đã khởi động, thử nghiệm loại trừ trong vLLM | thấp hơn 25% với hai tiến trình API thay vì một |
Điểm mấu chốt cho việc lập kế hoạch năng lực là dòng cuối của khối đầu tiên: thêm 74% đầu ra mỗi giây ở 32 luồng đồng thời, trên cùng một GPU. Blog của BroadNet gọi đó là “the central payoff” (bản dịch: thành quả cốt lõi), vì một mức tăng tốc biến mất khi có tải thì chẳng giúp được bao nhiêu cho một API dùng chung.
Một bản phát hành sau (v0.2.0, trên Model Runner V2 của vLLM) được blog của BroadNet mô tả với đầu ra một luồng gấp 2,1 đến 2,4 lần trên Blackwell, 1,7 đến 1,9 lần trên Ampere và 2,6 lần trên Hopper. Đó là phần cứng và phiên bản khác với bảng chính của bài báo, nên các con số khác nhau.
Giới hạn là gì?
- Một model, một tải công việc. Kết quả có kiểm soát là Qwen3-8B trên prompt toán học. Code, chat hay tài liệu dài có thể chấp nhận ít token nháp hơn.
- Mức tăng giảm khi tải tăng. Xu hướng từ 2,58 lần xuống 1,74 lần là hình dạng được dự đoán trước: khi GPU bận, năng lực tính toán dư cho việc soạn nháp cạn dần.
- Một preprint. Bài báo được lưu trên Zenodo, chưa qua bình duyệt. Kho lưu trữ đi kèm chứa danh mục bằng chứng và dữ liệu biểu đồ, giúp người khác kiểm tra được.
- Tự báo cáo. BroadNet chạy cả hai nhánh so sánh. Mức khớp 3% với bản cài đặt tham chiếu là phép kiểm tra của chính bài báo cho điều đó.
Vì sao điều này quan trọng nếu bạn chỉ gọi API?
Throughput trên mỗi GPU quyết định mức giá nhà cung cấp có thể đưa ra và tốc độ phản hồi khi có tải. Catalogue của BroadNet cho biết họ đo các phương pháp soạn nháp ở độ đồng thời thực trước khi chọn, và đã loại EAGLE3 sau khi nó làm mất 69% throughput ở 32 request đồng thời. Nghiên cứu tiếp theo trên Gemma 4 26B áp dụng cùng phương pháp cho model mixture-of-experts mà BroadNet bán dưới tên Gemma 4 VL 26B. Để xem điều này khớp thế nào với các lựa chọn phục vụ rộng hơn của BroadNet, xem phần cứng GPU và cách phục vụ của BroadNet.
Nếu bạn tự vận hành server vLLM, bài học thực tế là hãy benchmark mọi phương pháp soạn nháp ở độ đồng thời bạn thật sự chạy, không phải ở một luồng.
