BroadRouter
Mulakan

vLLM

Dikemas kini

vLLM ialah pustaka sumber terbuka untuk inferens dan penyajian LLM, yang mula-mula dibangunkan di Sky Computing Lab, UC Berkeley. Ia mengurus memori KV cache dengan PagedAttention, mengumpulkan permintaan masuk secara berterusan, menyokong banyak format kuantisasi dan menyediakan pelayan HTTP yang serasi OpenAI.

Juga dikenali sebagai: vLLM, vLLM server, vLLM serve, pelayan vLLM, apa itu vLLM, enjin inferens vLLM

Apabila orang menghoskan sendiri model open-weight pada pelayan GPU, vLLM ialah salah satu enjin pertama yang mereka cuba.

Cara ia berfungsi

Dokumentasi projek menerangkan vLLM sebagai “a fast and easy-to-use library for LLM inference and serving”, “Originally developed in the Sky Computing Lab at UC Berkeley”. (Terjemahan: “pustaka yang pantas dan mudah digunakan untuk inferens dan penyajian LLM”, “Asalnya dibangunkan di Sky Computing Lab di UC Berkeley”.) Idea terasnya:

  • PagedAttention. Kertas 2023 di sebalik vLLM mengurus memori KV cache dengan kaedah “inspired by the classical virtual memory and paging techniques in operating systems” (terjemahan: “diilhamkan oleh teknik memori maya dan paging klasik dalam sistem pengendalian”). Ia melaporkan “near-zero waste in KV cache memory” (terjemahan: “pembaziran hampir sifar dalam memori KV cache”) dan daya pemprosesan 2 hingga 4 kali ganda berbanding FasterTransformer dan Orca pada kependaman yang serupa.
  • Continuous batching. Permintaan masuk dikumpulkan secara dinamik dan tidak menunggu kelompok tetap. Dokumentasi menyenaraikan chunked prefill dan prefix caching bersamanya; lihat prefill dan decode.
  • Banyak format. Dokumentasi menyenaraikan FP8, INT8, INT4, GPTQ/AWQ, GGUF dan lain-lain untuk kuantisasi.
  • Perkakasan. GPU NVIDIA dan AMD serta beberapa keluarga CPU, dengan plugin untuk pemecut lain.
  • Pelayan serasi OpenAI. Mulakan dengan vllm serve dan panggilnya seperti API serasi OpenAI.

Panggilan klien minimum ke pelayan anda sendiri:

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

Pelayan memerlukan templat chat untuk model. Dokumentasi penyajian memberi amaran: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (Terjemahan: “Tanpa templat chat, pelayan tidak dapat memproses chat dan semua permintaan chat akan ralat.”) Anda boleh membekalkannya dengan --chat-template.

Mengapa ia penting

  • Garis asas hos sendiri. Jika anda membandingkan harga API dengan menjalankan GPU sendiri, vLLM ialah enjin biasa untuk mengukur. Panduan kos hos sendiri vs API kami mencadangkan anda menguji prompt sebenar anda pada concurrency sebenar dengan vLLM atau SGLang.
  • Cara penyajian mengubah hasil. Weights yang sama boleh jadi lebih pantas atau perlahan, dan mendapat skor berbeza, bergantung pada versi enjin, kuantisasi dan tetapan.
  • Kosa kata yang dikongsi. Istilah seperti PagedAttention, chunked prefill dan speculative decoding lebih mudah difahami apabila anda tahu di mana vLLM menggunakannya.

Di BroadNet Inference

BroadNet tidak menyatakan enjin mana yang menyajikan API awamnya, jadi halaman ini tidak mendakwa apa-apa. Apa yang telah diterbitkan BroadNet: pracetak September 2026, Uno in vLLM, yang menambah penyesuai self-drafting Uno daripada IFM kepada vLLM dan melaporkan 2.58 kali daya pemprosesan vLLM biasa pada satu strim dan 1.74 kali pada 32, pada H100 dengan Qwen3-8B. Kodnya terbuka dalam repositori vllm-uno BroadNet. Katalog BroadNet juga menyenaraikan binaan AWQ INT4 Qwen3.8 27B pada vLLM tampalannya untuk AMD ROCm dalam konfigurasi makmal. Untuk cara BroadNet menerangkan armada GPUnya, lihat catatannya tentang perkakasan GPU dan penyajian.

Soalan lazim

Adakah vLLM penyedia API?

Tidak. vLLM ialah perisian yang anda jalankan pada perkakasan anda sendiri. Menggunakannya secara terus bermakna anda sendiri mengendalikan GPU, penskalaan dan naik taraf.

Bolehkah saya halakan SDK OpenAI kepada pelayan vLLM?

Boleh. vLLM menyediakan pelayan serasi OpenAI, jadi anda tetapkan base URL SDK kepada pelayan anda dan hantar permintaan chat completion. Model memerlukan templat chat, jika tidak permintaan chat akan gagal.

Adakah BroadNet Inference berjalan pada vLLM?

BroadNet tidak menyatakan enjin mana yang menyajikan API awamnya. BroadNet telah menerbitkan pelaksanaan penyelidikan vLLM (Uno in vLLM) dan menyenaraikan binaan vLLM yang ditampal untuk AMD ROCm dalam konfigurasi makmalnya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity