---
title: "Uno di vLLM: studi serving BroadNet, DOI, dan hasilnya"
description: "BroadNet memasang adapter self-drafting Uno ke vLLM dan mengukurnya di H100: throughput 2,58x vLLM biasa pada satu stream, 1,74x pada 32. Metode, DOI, dan batasan."
url: https://broadrouter.com/id/blog/uno-in-vllm-serving-study/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (diperbarui 2026-11-15).

# Uno di vLLM: apa yang diukur studi serving BroadNet

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan 2026-11-15

Uno di vLLM adalah preprint BroadNet bulan September 2026 (DOI 10.5281/zenodo.22652610). Preprint ini menambahkan Uno, adapter yang membuat model bisa membuat draft token-nya sendiri, ke vLLM. Di H100 dengan Qwen3-8B, BroadNet mengukur throughput 2,58 kali vLLM biasa pada satu stream, 2,20 kali pada delapan, dan 1,74 kali pada 32, dalam selisih 3% dari implementasi referensi.

## Poin penting

-   Paper ini adalah preprint di Zenodo, DOI 10.5281/zenodo.22652610, terbit 8 September 2026 dengan lisensi CC BY 4.0. Belum melalui peer review.
-   Uno adalah metode IFM; kontribusi BroadNet adalah integrasi native ke vLLM dan pengukuran serving.
-   Pada workload matematika terkontrol dengan H100 dan Qwen3-8B: 2,58x vLLM biasa pada 1 stream, 2,20x pada 8, 1,74x pada 32.
-   Dengan pengaturan produksi, 7.657 token per detik pada 32 stream, dibanding 7.505 untuk referensi SGLang.
-   Keuntungannya berlaku untuk satu model, satu workload, dan pengaturan tertentu. Ukur di trafik Anda sendiri sebelum mengandalkannya.

**Di halaman ini**

1.  Masalah apa yang ditangani Uno?
2.  Apa yang dibangun BroadNet?
3.  Bagaimana cara mengukurnya?
4.  Apa temuan studinya?
5.  Apa batasannya?
6.  Mengapa ini penting jika Anda hanya memanggil API?

Uno di vLLM adalah preprint dari divisi riset BroadNet, terbit di Zenodo pada 8 September 2026 dengan DOI [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610). Preprint ini melaporkan implementasi native vLLM untuk Uno, metode speculative decoding yang dikembangkan IFM, dan mengukur seberapa cepat serving-nya dibanding vLLM biasa. Record Zenodo-nya mencantumkan Mohammad Al Zubaidi sebagai penulis.

Halaman ini merangkum isi paper, cara pengukurannya, serta apa yang bisa dan tidak bisa disimpulkan darinya. Angka-angkanya berasal dari BroadNet; kami belum mereproduksinya.

## Masalah apa yang ditangani Uno?

Model bahasa biasanya menghasilkan satu token per forward pass. Speculative decoding mempercepatnya dengan menebak beberapa token ke depan lalu mengeceknya dalam satu pass model penuh. Sebagian besar metode memakai model draft terpisah yang lebih kecil. Uno justru memasang adapter terlatih ke model itu sendiri, sehingga model membuat draft token-nya sendiri lalu memverifikasinya dengan bobot aslinya. Lihat [speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/) untuk gambaran umumnya.

Pertanyaan paper ini praktis: apakah percepatan itu bertahan di dalam serving engine produksi, dengan batching, caching, dan banyak permintaan sekaligus?

## Apa yang dibangun BroadNet?

Postingan blog BroadNet jelas soal kredit: metodenya adalah “Uno, developed by IFM and collaborators” (Terjemahan BroadRouter: Uno, dikembangkan oleh IFM dan kolaboratornya), dan kontribusi BroadNet adalah “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (Terjemahan BroadRouter: integrasi native vLLM, rekayasa yang membuat jalur eksekusinya bekerja bersama, dan evaluasi serving). Abstraknya mendaftar komponen eksekusinya: routing adapter kondisional, state key/value draft yang lengkap, penjadwalan asinkron, replay CUDA graph, komputasi adapter yang tumpang tindih, dan penggunaan ulang seed row.

Kodenya terbuka di [repositori vllm-uno](https://github.com/brntech/vllm-uno) milik BroadNet, dan BroadNet sudah mengusulkannya ke upstream vLLM sebagai pull request 55947.

## Bagaimana cara mengukurnya?

Uji utamanya terkontrol:

-   **Hardware dan model:** satu NVIDIA H100, Qwen3-8B dalam bfloat16, dengan adapter Uno Qwen3-8B yang sudah dipublikasikan.
-   **Workload:** delapan prompt matematika, diulang untuk mengisi batch yang lebih besar, masing-masing menghasilkan hingga 512 token, dengan prefix caching mati.
-   **Baseline:** vLLM autoregresif biasa (“vLLM biasa”) dengan setup yang sama.
-   **Konkurensi:** 1, 8, dan 32 stream bersamaan.

Perbandingan kedua yang terpisah menyalakan prefix caching dan memakai pengaturan serving pilihan BroadNet, untuk dibandingkan dengan implementasi referensi SGLang.

## Apa temuan studinya?

| Pengukuran | Hasil yang dilaporkan BroadNet |
| --- | --- |
| Throughput vs vLLM biasa, 1 stream | 2,58x |
| Throughput vs vLLM biasa, 8 stream | 2,20x |
| Throughput vs vLLM biasa, 32 stream | 1,74x |
| Selisih dari implementasi referensi SGLang | dalam 3% pada 1, 8, dan 32 stream |
| Pengaturan produksi, 32 stream | 7.657 token/detik, dibanding 7.505 untuk SGLang (unggul 2,0%) |
| Latensi token pertama (warm), ablasi di dalam vLLM | 25% lebih rendah dengan dua proses API, bukan satu |

Poin utama untuk perencanaan kapasitas ada di baris terakhir blok pertama: output per detik 74% lebih banyak pada 32 stream bersamaan, dari GPU yang sama. Itulah yang disebut blog BroadNet “the central payoff” (Terjemahan BroadRouter: hasil utamanya), karena percepatan yang hilang saat beban naik tidak banyak berguna bagi API bersama.

Rilis berikutnya (v0.2.0, di Model Runner V2 milik vLLM) dijelaskan di blog BroadNet dengan output single-stream 2,1 hingga 2,4 kali di Blackwell, 1,7 hingga 1,9 kali di Ampere, dan 2,6 kali di Hopper. Hardware dan versinya berbeda dari tabel utama paper, itulah sebabnya angkanya berbeda.

## Apa batasannya?

-   **Satu model, satu workload.** Hasil terkontrolnya adalah Qwen3-8B pada prompt matematika. Kode, chat, atau dokumen panjang bisa menerima lebih sedikit token draft.
-   **Keuntungan menyusut seiring beban.** Tren dari 2,58x ke 1,74x adalah pola yang diharapkan: saat GPU sibuk, sisa komputasi untuk drafting habis.
-   **Preprint.** Paper ini disimpan di Zenodo, belum melalui peer review. Arsip pendampingnya memuat inventaris bukti dan data gambar, dan itulah yang memungkinkan pihak lain mengeceknya.
-   **Dilaporkan sendiri.** BroadNet menjalankan kedua arm. Kesesuaian 3% dengan implementasi referensi adalah pengecekan paper itu sendiri atas hal ini.

## Mengapa ini penting jika Anda hanya memanggil API?

Throughput per GPU menentukan berapa yang bisa ditagih provider dan seberapa cepat ia menjawab saat beban tinggi. Katalog BroadNet melaporkan bahwa ia mengukur metode drafting pada konkurensi nyata sebelum memilih, dan mencoret EAGLE3 setelah metode itu memangkas 69% throughput pada 32 permintaan bersamaan. [Studi lanjutan di Gemma 4 26B](https://broadrouter.com/id/blog/uno-mixture-of-experts-gemma-4-study/) menerapkan metode yang sama pada model mixture-of-experts yang dijual BroadNet sebagai [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/). Untuk melihat kaitannya dengan pilihan serving BroadNet yang lebih luas, lihat [hardware GPU dan pendekatan serving BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/).

Jika Anda menjalankan server vLLM sendiri, pelajaran praktisnya adalah melakukan benchmark metode drafting apa pun pada konkurensi yang benar-benar Anda jalankan, bukan pada satu stream.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[vLLM](https://broadrouter.com/id/glossary/vllm/)

vLLM adalah library open-source untuk inferensi dan serving LLM, awalnya dikembangkan di Sky Computing Lab UC Berkeley. Ia mengelola memori KV cache dengan PagedAttention, mem-batch request yang masuk secara kontinu, mendukung banyak format kuantisasi, dan menyediakan server HTTP yang kompatibel dengan OpenAI.

[Speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/)

Speculative decoding adalah teknik inferensi di mana model draft yang kecil dan cepat mengusulkan beberapa token berikutnya, lalu model target yang besar memverifikasinya dalam satu forward pass dan menyimpan token yang diterima. Teknik ini mempercepat generasi tanpa mengubah distribusi output.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Throughput](https://broadrouter.com/id/glossary/throughput/)

Throughput, dalam penyajian LLM, adalah jumlah total pekerjaan yang diselesaikan sebuah sistem per satuan waktu di semua permintaan yang berjalan bersamaan, biasanya diukur dalam token output per detik atau permintaan per detik. Ini berbeda dengan kecepatan per stream, yaitu seberapa cepat satu permintaan menerima token-tokennya.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Latensi (latency)](https://broadrouter.com/id/glossary/latency/)

Latensi, untuk API model bahasa, adalah waktu yang dibutuhkan sebuah permintaan sejak dikirim sampai token output terakhir diterima. Latensi adalah jumlah dari time to first token dan waktu generasi, dan biasanya dilaporkan sebagai persentil seperti p50 dan p95, bukan rata-rata.

[Parameter seed](https://broadrouter.com/id/glossary/seed-parameter/)

Parameter seed adalah bilangan bulat yang Anda kirim bersama permintaan agar API berusaha mengambil sampel token yang sama saat permintaan yang sama diulang. OpenAI menyebutnya best effort: determinisme tidak dijamin, dan field system\_fingerprint menunjukkan kapan konfigurasi backend berubah.

[Time to first token (TTFT)](https://broadrouter.com/id/glossary/time-to-first-token/)

Time to first token (TTFT) adalah waktu sejak permintaan dikirim ke model bahasa sampai token output pertama tiba. TTFT mencakup waktu jaringan, antrean di server, dan prefill, yaitu tahap saat model membaca seluruh prompt, sehingga nilainya naik seiring panjang prompt dan beban server.

## Pertanyaan umum

### Apa itu Uno?

Uno adalah metode speculative decoding yang dikembangkan IFM dan kolaboratornya. Adapter kecil yang sudah dilatih membuat model bisa mengusulkan beberapa token sekaligus, lalu bobot model itu sendiri memverifikasinya. Tidak ada model draft terpisah.

### Apakah percepatannya lossless?

BroadNet menyatakan demikian untuk rilisnya: setiap kali vLLM biasa mereproduksi output-nya sendiri, Uno cocok dengan token greedy-nya, dan uji distribusi hasil sampling-nya lolos. Speculative decoding memverifikasi setiap token draft dengan model penuh, jadi kualitas output seharusnya tidak berubah; cek ini dengan prompt Anda sendiri.

### Apakah Uno membantu pada konkurensi tinggi?

Lebih sedikit dibanding pada konkurensi rendah. Dalam uji terkontrol paper ini, keuntungannya turun dari 2,58x pada satu stream menjadi 1,74x pada 32. Katalog BroadNet juga melaporkan metode lain, EAGLE3, memangkas 69% throughput pada 32 permintaan bersamaan, jadi metode drafting perlu diuji pada beban Anda yang sebenarnya.

### Bisakah saya menjalankannya sendiri?

Bisa. BroadNet memublikasikan implementasinya di repositori vllm-uno, dengan container image, versi yang dipatok, dan catatan validasi untuk setiap rilis, serta sudah mengusulkannya ke vLLM sebagai pull request 55947.

### Apakah BroadNet Inference memakai Uno untuk model API-nya?

BroadNet tidak menyatakan demikian. Katalognya mencantumkan drafter multi-token prediction (k=2) di produksi untuk Gemma 4 26B. Uno adalah hasil riset yang dipublikasikan BroadNet; tanyakan ke BroadNet jika Anda membutuhkannya di endpoint privat.

## Baca juga

-   [Uno di Gemma 4 26B: studi mixture-of-experts dari BroadNet](https://broadrouter.com/id/blog/uno-mixture-of-experts-gemma-4-study/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Latensi LLM: TTFT vs token per detik vs waktu end-to-end](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/)
-   [Model yang dievaluasi lalu dicoret BroadNet, dan alasannya](https://broadrouter.com/id/blog/models-broadnet-ruled-out/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Jadikan review manusia bagian dari workflow AI dokumen Anda](https://broadrouter.com/id/blog/document-review-queues/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**Sumber**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, preprint Zenodo v1.0, 2026-09-08 (record diakses 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: paper yang terbit dan temuan utama (diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/research)
-   [Blog BroadNet, Bringing Uno to vLLM (8 September 2026; diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [Repositori vllm-uno, BroadNet (diakses 2026-11-15)](https://github.com/brntech/vllm-uno)
-   [IFM, repositori proyek Uno (diakses 2026-11-15)](https://github.com/ifm-ai/uno)
