Saat orang meng-hosting sendiri model open-weight di server GPU, vLLM adalah salah satu engine pertama yang mereka coba.
Cara kerjanya
Dokumentasi proyek ini menyebut vLLM sebagai “a fast and easy-to-use library for LLM inference and serving” (terjemahan: library yang cepat dan mudah dipakai untuk inferensi dan serving LLM), “Originally developed in the Sky Computing Lab at UC Berkeley” (terjemahan: awalnya dikembangkan di Sky Computing Lab UC Berkeley). Ide intinya:
- PagedAttention. Paper tahun 2023 di balik vLLM mengelola memori KV cache dengan metode yang “inspired by the classical virtual memory and paging techniques in operating systems” (terjemahan: terinspirasi dari teknik virtual memory dan paging klasik di sistem operasi). Paper itu melaporkan “near-zero waste in KV cache memory” (terjemahan: pemborosan memori KV cache yang nyaris nol) dan throughput 2 sampai 4 kali FasterTransformer dan Orca pada latensi yang serupa.
- Continuous batching. Request yang masuk di-batch secara dinamis, bukan menunggu batch dengan ukuran tetap. Dokumentasinya juga mencantumkan chunked prefill dan prefix caching; lihat prefill dan decode.
- Banyak format. Dokumentasinya mencantumkan FP8, INT8, INT4, GPTQ/AWQ, GGUF, dan lainnya untuk kuantisasi.
- Hardware. GPU NVIDIA dan AMD serta beberapa keluarga CPU, dengan plugin untuk akselerator lain.
- Server yang kompatibel dengan OpenAI. Jalankan dengan
vllm servedan panggil seperti API yang kompatibel dengan OpenAI.
Panggilan klien minimal ke server Anda sendiri:
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
Server membutuhkan chat template untuk model tersebut. Dokumentasi serving memperingatkan: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (terjemahan: Tanpa chat template, server tidak bisa memproses chat dan semua request chat akan error.) Anda bisa memberikannya dengan --chat-template.
Mengapa penting
- Patokan self-hosting. Jika Anda membandingkan harga API dengan menjalankan GPU sendiri, vLLM adalah engine yang umum dipakai untuk mengukurnya. Panduan biaya self-hosting vs API kami menyarankan menguji prompt nyata Anda pada concurrency nyata dengan vLLM atau SGLang.
- Cara serving mengubah hasil. Bobot yang sama bisa lebih cepat atau lebih lambat, dan mendapat skor berbeda, tergantung versi engine, kuantisasi, dan pengaturannya.
- Kosakata bersama. Istilah seperti PagedAttention, chunked prefill, dan speculative decoding lebih mudah dipahami setelah Anda tahu di mana vLLM memakainya.
Di BroadNet Inference
BroadNet tidak menyebutkan engine mana yang melayani API publiknya, jadi halaman ini tidak mengklaim engine tertentu. Yang sudah diterbitkan BroadNet: sebuah preprint September 2026, Uno in vLLM, yang menambahkan adapter self-drafting Uno dari IFM ke vLLM dan melaporkan throughput 2,58 kali vLLM biasa pada satu stream dan 1,74 kali pada 32 stream di H100 dengan Qwen3-8B. Kodenya publik di repositori vllm-uno milik BroadNet. Katalog BroadNet juga mencantumkan build AWQ INT4 dari Qwen3.8 27B di vLLM yang di-patch untuk AMD ROCm sebagai salah satu konfigurasi lab. Untuk cara BroadNet menggambarkan armadanya, lihat artikel tentang hardware GPU dan serving-nya.