BroadRouter
Mulai

vLLM

Diperbarui

vLLM adalah library open-source untuk inferensi dan serving LLM, awalnya dikembangkan di Sky Computing Lab UC Berkeley. Ia mengelola memori KV cache dengan PagedAttention, mem-batch request yang masuk secara kontinu, mendukung banyak format kuantisasi, dan menyediakan server HTTP yang kompatibel dengan OpenAI.

Disebut juga: apa itu vLLM, server vLLM, cara install vLLM, engine serving LLM, vLLM server, vLLM serve

Saat orang meng-hosting sendiri model open-weight di server GPU, vLLM adalah salah satu engine pertama yang mereka coba.

Cara kerjanya

Dokumentasi proyek ini menyebut vLLM sebagai “a fast and easy-to-use library for LLM inference and serving” (terjemahan: library yang cepat dan mudah dipakai untuk inferensi dan serving LLM), “Originally developed in the Sky Computing Lab at UC Berkeley” (terjemahan: awalnya dikembangkan di Sky Computing Lab UC Berkeley). Ide intinya:

  • PagedAttention. Paper tahun 2023 di balik vLLM mengelola memori KV cache dengan metode yang “inspired by the classical virtual memory and paging techniques in operating systems” (terjemahan: terinspirasi dari teknik virtual memory dan paging klasik di sistem operasi). Paper itu melaporkan “near-zero waste in KV cache memory” (terjemahan: pemborosan memori KV cache yang nyaris nol) dan throughput 2 sampai 4 kali FasterTransformer dan Orca pada latensi yang serupa.
  • Continuous batching. Request yang masuk di-batch secara dinamis, bukan menunggu batch dengan ukuran tetap. Dokumentasinya juga mencantumkan chunked prefill dan prefix caching; lihat prefill dan decode.
  • Banyak format. Dokumentasinya mencantumkan FP8, INT8, INT4, GPTQ/AWQ, GGUF, dan lainnya untuk kuantisasi.
  • Hardware. GPU NVIDIA dan AMD serta beberapa keluarga CPU, dengan plugin untuk akselerator lain.
  • Server yang kompatibel dengan OpenAI. Jalankan dengan vllm serve dan panggil seperti API yang kompatibel dengan OpenAI.

Panggilan klien minimal ke server Anda sendiri:

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

Server membutuhkan chat template untuk model tersebut. Dokumentasi serving memperingatkan: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (terjemahan: Tanpa chat template, server tidak bisa memproses chat dan semua request chat akan error.) Anda bisa memberikannya dengan --chat-template.

Mengapa penting

  • Patokan self-hosting. Jika Anda membandingkan harga API dengan menjalankan GPU sendiri, vLLM adalah engine yang umum dipakai untuk mengukurnya. Panduan biaya self-hosting vs API kami menyarankan menguji prompt nyata Anda pada concurrency nyata dengan vLLM atau SGLang.
  • Cara serving mengubah hasil. Bobot yang sama bisa lebih cepat atau lebih lambat, dan mendapat skor berbeda, tergantung versi engine, kuantisasi, dan pengaturannya.
  • Kosakata bersama. Istilah seperti PagedAttention, chunked prefill, dan speculative decoding lebih mudah dipahami setelah Anda tahu di mana vLLM memakainya.

Di BroadNet Inference

BroadNet tidak menyebutkan engine mana yang melayani API publiknya, jadi halaman ini tidak mengklaim engine tertentu. Yang sudah diterbitkan BroadNet: sebuah preprint September 2026, Uno in vLLM, yang menambahkan adapter self-drafting Uno dari IFM ke vLLM dan melaporkan throughput 2,58 kali vLLM biasa pada satu stream dan 1,74 kali pada 32 stream di H100 dengan Qwen3-8B. Kodenya publik di repositori vllm-uno milik BroadNet. Katalog BroadNet juga mencantumkan build AWQ INT4 dari Qwen3.8 27B di vLLM yang di-patch untuk AMD ROCm sebagai salah satu konfigurasi lab. Untuk cara BroadNet menggambarkan armadanya, lihat artikel tentang hardware GPU dan serving-nya.

Pertanyaan umum

Apakah vLLM itu penyedia API?

Bukan. vLLM adalah software yang Anda jalankan di hardware Anda sendiri. Memakainya langsung berarti Anda sendiri yang mengelola GPU, scaling, dan upgrade.

Bisakah OpenAI SDK diarahkan ke server vLLM?

Bisa. vLLM menyediakan server yang kompatibel dengan OpenAI, jadi Anda mengatur base URL SDK ke server Anda dan mengirim request chat completion. Model perlu chat template; tanpanya request chat akan gagal.

Apakah BroadNet Inference berjalan di vLLM?

BroadNet tidak menyebutkan engine mana yang melayani API publiknya. BroadNet telah menerbitkan implementasi riset vLLM (Uno in vLLM) dan mencantumkan build vLLM yang di-patch untuk AMD ROCm di antara konfigurasi lab-nya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity