Uno in vLLM ialah pracetak daripada cabang penyelidikan BroadNet, diterbitkan di Zenodo pada 8 September 2026 di bawah DOI 10.5281/zenodo.22652610. Ia melaporkan pelaksanaan vLLM asli bagi Uno, kaedah speculative decoding yang dibangunkan oleh IFM, dan mengukur sejauh mana lebih pantas ia menyajikan berbanding vLLM biasa. Rekod Zenodonya menyenaraikan Mohammad Al Zubaidi sebagai pengarang.
Halaman ini meringkaskan apa yang dikatakan kertas itu, bagaimana ia diukur, dan apa yang ia beritahu dan tidak beritahu anda. Angka itu angka BroadNet; kami belum menghasilkannya semula.
Apakah masalah yang ditangani Uno?
Model bahasa biasanya menjana satu token bagi setiap laluan hadapan. Speculative decoding mempercepatkannya dengan meneka beberapa token ke hadapan dan menyemaknya dalam satu laluan model penuh. Kebanyakan kaedah menggunakan model draf berasingan yang lebih kecil. Uno pula melampirkan penyesuai terlatih pada model itu sendiri, jadi model mendraf tokennya sendiri dan kemudian mengesahkannya dengan pemberat asalnya. Lihat speculative decoding untuk idea umumnya.
Soalan kertas itu praktikal: adakah peningkatan kelajuan itu bertahan dalam enjin penyajian pengeluaran, dengan pengelompokan, cache dan banyak permintaan serentak?
Apakah yang dibina BroadNet?
Catatan blog BroadNet jelas tentang penghargaan: kaedahnya ialah “Uno, developed by IFM and collaborators” (Terjemahan: Uno, dibangunkan oleh IFM dan rakan kolaborasi), dan sumbangan BroadNet ialah “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (Terjemahan: integrasi vLLM asli, kejuruteraan yang membolehkan laluan pelaksanaannya berfungsi bersama, dan penilaian penyajian). Abstrak menyenaraikan bahagian pelaksanaan: penghalaan penyesuai bersyarat, keadaan key/value draf yang lengkap, penjadualan tak segerak, main semula graf CUDA, pengiraan penyesuai bertindih dan penggunaan semula baris benih.
Kodnya terbuka dalam repositori vllm-uno BroadNet, dan BroadNet telah mencadangkannya kepada vLLM upstream sebagai pull request 55947.
Bagaimanakah ia diukur?
Ujian utama adalah terkawal:
- Perkakasan dan model: satu NVIDIA H100, Qwen3-8B dalam bfloat16, dengan penyesuai Uno Qwen3-8B yang diterbitkan.
- Beban kerja: lapan prompt matematik, diulang untuk mengisi kelompok yang lebih besar, setiap satu menjana sehingga 512 token, dengan prefix caching dimatikan.
- Garis dasar: vLLM autoregresif biasa (“vLLM biasa”) pada persediaan yang sama.
- Keserentakan: 1, 8 dan 32 strim serentak.
Perbandingan kedua yang berasingan menghidupkan prefix caching dan menggunakan tetapan penyajian pilihan BroadNet, untuk dibandingkan dengan pelaksanaan rujukan SGLang.
Apakah dapatan kajian itu?
| Ukuran | Keputusan yang dilaporkan BroadNet |
|---|---|
| Daya pemprosesan vs vLLM biasa, 1 strim | 2.58x |
| Daya pemprosesan vs vLLM biasa, 8 strim | 2.20x |
| Daya pemprosesan vs vLLM biasa, 32 strim | 1.74x |
| Jurang dengan pelaksanaan rujukan SGLang | dalam lingkungan 3% pada 1, 8 dan 32 strim |
| Tetapan pengeluaran, 32 strim | 7,657 token/s, berbanding 7,505 bagi SGLang (2.0% di hadapan) |
| Kependaman token pertama (warm), ablasi dalam vLLM | 25% lebih rendah dengan dua proses API dan bukannya satu |
Yang paling penting untuk perancangan kapasiti ialah baris terakhir blok pertama: 74% lebih banyak output sesaat pada 32 strim serentak, daripada GPU yang sama. Itulah yang disebut blog BroadNet sebagai “the central payoff” (Terjemahan: pulangan utama), kerana peningkatan kelajuan yang hilang di bawah beban tidak banyak membantu API yang dikongsi.
Keluaran kemudian (v0.2.0, pada Model Runner V2 vLLM) diterangkan di blog BroadNet dengan output satu strim 2.1 hingga 2.4 kali pada Blackwell, 1.7 hingga 1.9 kali pada Ampere dan 2.6 kali pada Hopper. Itu perkakasan dan versi yang berbeza daripada jadual utama kertas, sebab itu angkanya berbeza.
Apakah hadnya?
- Satu model, satu beban kerja. Keputusan terkawal ialah Qwen3-8B pada prompt matematik. Kod, chat atau dokumen panjang mungkin menerima lebih sedikit token yang didraf.
- Peningkatan mengecil dengan beban. Trend daripada 2.58x kepada 1.74x ialah bentuk yang dijangka: apabila GPU sibuk, pengiraan lebihan untuk mendraf habis.
- Pracetak. Kertas itu didepositkan di Zenodo, belum disemak rakan sebaya. Arkib pengiringnya menyimpan inventori bukti dan data rajah, yang membolehkan orang lain menyemaknya.
- Dilaporkan sendiri. BroadNet menjalankan kedua-dua lengan. Persetujuan 3% dengan pelaksanaan rujukan ialah semakan kertas itu sendiri terhadap perkara itu.
Mengapakah ia penting jika anda hanya memanggil API?
Daya pemprosesan setiap GPU menentukan berapa yang boleh dicaj penyedia dan sepantas mana ia menjawab di bawah beban. Katalog BroadNet melaporkan ia mengukur kaedah mendraf pada keserentakan sebenar sebelum memilih satu, dan ia menolak EAGLE3 selepas kaedah itu mengurangkan 69% daya pemprosesan pada 32 permintaan serentak. Kajian susulan pada Gemma 4 26B menggunakan kaedah yang sama pada model mixture-of-experts yang dijual BroadNet sebagai Gemma 4 VL 26B. Untuk bagaimana ini sesuai dengan pilihan penyajian BroadNet yang lebih luas, lihat perkakasan GPU dan pendekatan penyajian BroadNet.
Jika anda menjalankan pelayan vLLM sendiri, pengajaran praktikalnya ialah menanda aras sebarang kaedah mendraf pada keserentakan yang benar-benar anda jalankan, bukan pada satu strim.
