Uno di vLLM adalah preprint dari divisi riset BroadNet, terbit di Zenodo pada 8 September 2026 dengan DOI 10.5281/zenodo.22652610. Preprint ini melaporkan implementasi native vLLM untuk Uno, metode speculative decoding yang dikembangkan IFM, dan mengukur seberapa cepat serving-nya dibanding vLLM biasa. Record Zenodo-nya mencantumkan Mohammad Al Zubaidi sebagai penulis.
Halaman ini merangkum isi paper, cara pengukurannya, serta apa yang bisa dan tidak bisa disimpulkan darinya. Angka-angkanya berasal dari BroadNet; kami belum mereproduksinya.
Masalah apa yang ditangani Uno?
Model bahasa biasanya menghasilkan satu token per forward pass. Speculative decoding mempercepatnya dengan menebak beberapa token ke depan lalu mengeceknya dalam satu pass model penuh. Sebagian besar metode memakai model draft terpisah yang lebih kecil. Uno justru memasang adapter terlatih ke model itu sendiri, sehingga model membuat draft token-nya sendiri lalu memverifikasinya dengan bobot aslinya. Lihat speculative decoding untuk gambaran umumnya.
Pertanyaan paper ini praktis: apakah percepatan itu bertahan di dalam serving engine produksi, dengan batching, caching, dan banyak permintaan sekaligus?
Apa yang dibangun BroadNet?
Postingan blog BroadNet jelas soal kredit: metodenya adalah “Uno, developed by IFM and collaborators” (Terjemahan BroadRouter: Uno, dikembangkan oleh IFM dan kolaboratornya), dan kontribusi BroadNet adalah “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (Terjemahan BroadRouter: integrasi native vLLM, rekayasa yang membuat jalur eksekusinya bekerja bersama, dan evaluasi serving). Abstraknya mendaftar komponen eksekusinya: routing adapter kondisional, state key/value draft yang lengkap, penjadwalan asinkron, replay CUDA graph, komputasi adapter yang tumpang tindih, dan penggunaan ulang seed row.
Kodenya terbuka di repositori vllm-uno milik BroadNet, dan BroadNet sudah mengusulkannya ke upstream vLLM sebagai pull request 55947.
Bagaimana cara mengukurnya?
Uji utamanya terkontrol:
- Hardware dan model: satu NVIDIA H100, Qwen3-8B dalam bfloat16, dengan adapter Uno Qwen3-8B yang sudah dipublikasikan.
- Workload: delapan prompt matematika, diulang untuk mengisi batch yang lebih besar, masing-masing menghasilkan hingga 512 token, dengan prefix caching mati.
- Baseline: vLLM autoregresif biasa (“vLLM biasa”) dengan setup yang sama.
- Konkurensi: 1, 8, dan 32 stream bersamaan.
Perbandingan kedua yang terpisah menyalakan prefix caching dan memakai pengaturan serving pilihan BroadNet, untuk dibandingkan dengan implementasi referensi SGLang.
Apa temuan studinya?
| Pengukuran | Hasil yang dilaporkan BroadNet |
|---|---|
| Throughput vs vLLM biasa, 1 stream | 2,58x |
| Throughput vs vLLM biasa, 8 stream | 2,20x |
| Throughput vs vLLM biasa, 32 stream | 1,74x |
| Selisih dari implementasi referensi SGLang | dalam 3% pada 1, 8, dan 32 stream |
| Pengaturan produksi, 32 stream | 7.657 token/detik, dibanding 7.505 untuk SGLang (unggul 2,0%) |
| Latensi token pertama (warm), ablasi di dalam vLLM | 25% lebih rendah dengan dua proses API, bukan satu |
Poin utama untuk perencanaan kapasitas ada di baris terakhir blok pertama: output per detik 74% lebih banyak pada 32 stream bersamaan, dari GPU yang sama. Itulah yang disebut blog BroadNet “the central payoff” (Terjemahan BroadRouter: hasil utamanya), karena percepatan yang hilang saat beban naik tidak banyak berguna bagi API bersama.
Rilis berikutnya (v0.2.0, di Model Runner V2 milik vLLM) dijelaskan di blog BroadNet dengan output single-stream 2,1 hingga 2,4 kali di Blackwell, 1,7 hingga 1,9 kali di Ampere, dan 2,6 kali di Hopper. Hardware dan versinya berbeda dari tabel utama paper, itulah sebabnya angkanya berbeda.
Apa batasannya?
- Satu model, satu workload. Hasil terkontrolnya adalah Qwen3-8B pada prompt matematika. Kode, chat, atau dokumen panjang bisa menerima lebih sedikit token draft.
- Keuntungan menyusut seiring beban. Tren dari 2,58x ke 1,74x adalah pola yang diharapkan: saat GPU sibuk, sisa komputasi untuk drafting habis.
- Preprint. Paper ini disimpan di Zenodo, belum melalui peer review. Arsip pendampingnya memuat inventaris bukti dan data gambar, dan itulah yang memungkinkan pihak lain mengeceknya.
- Dilaporkan sendiri. BroadNet menjalankan kedua arm. Kesesuaian 3% dengan implementasi referensi adalah pengecekan paper itu sendiri atas hal ini.
Mengapa ini penting jika Anda hanya memanggil API?
Throughput per GPU menentukan berapa yang bisa ditagih provider dan seberapa cepat ia menjawab saat beban tinggi. Katalog BroadNet melaporkan bahwa ia mengukur metode drafting pada konkurensi nyata sebelum memilih, dan mencoret EAGLE3 setelah metode itu memangkas 69% throughput pada 32 permintaan bersamaan. Studi lanjutan di Gemma 4 26B menerapkan metode yang sama pada model mixture-of-experts yang dijual BroadNet sebagai Gemma 4 VL 26B. Untuk melihat kaitannya dengan pilihan serving BroadNet yang lebih luas, lihat hardware GPU dan pendekatan serving BroadNet.
Jika Anda menjalankan server vLLM sendiri, pelajaran praktisnya adalah melakukan benchmark metode drafting apa pun pada konkurensi yang benar-benar Anda jalankan, bukan pada satu stream.
