---
title: "Apakah vLLM? Enjin penyajian LLM sumber terbuka | BroadRouter"
description: "vLLM ialah enjin penyajian LLM sumber terbuka berasaskan PagedAttention dan continuous batching, dengan pelayan serasi OpenAI. Fungsinya dan bila menggunakannya."
url: https://broadrouter.com/ms/glossary/vllm/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/vllm/) (dikemas kini 2026-11-15).

# vLLM

Dikemas kini 2026-11-15

vLLM ialah pustaka sumber terbuka untuk inferens dan penyajian LLM, yang mula-mula dibangunkan di Sky Computing Lab, UC Berkeley. Ia mengurus memori KV cache dengan PagedAttention, mengumpulkan permintaan masuk secara berterusan, menyokong banyak format kuantisasi dan menyediakan pelayan HTTP yang serasi OpenAI.

Juga dikenali sebagai: vLLM, vLLM server, vLLM serve, pelayan vLLM, apa itu vLLM, enjin inferens vLLM

Apabila orang menghoskan sendiri model open-weight pada pelayan GPU, vLLM ialah salah satu enjin pertama yang mereka cuba.

## Cara ia berfungsi

Dokumentasi projek menerangkan vLLM sebagai “a fast and easy-to-use library for LLM inference and serving”, “Originally developed in the Sky Computing Lab at UC Berkeley”. (Terjemahan: “pustaka yang pantas dan mudah digunakan untuk inferens dan penyajian LLM”, “Asalnya dibangunkan di Sky Computing Lab di UC Berkeley”.) Idea terasnya:

-   **PagedAttention.** Kertas 2023 di sebalik vLLM mengurus memori [KV cache](https://broadrouter.com/ms/glossary/kv-cache/) dengan kaedah “inspired by the classical virtual memory and paging techniques in operating systems” (terjemahan: “diilhamkan oleh teknik memori maya dan paging klasik dalam sistem pengendalian”). Ia melaporkan “near-zero waste in KV cache memory” (terjemahan: “pembaziran hampir sifar dalam memori KV cache”) dan [daya pemprosesan](https://broadrouter.com/ms/glossary/throughput/) 2 hingga 4 kali ganda berbanding FasterTransformer dan Orca pada kependaman yang serupa.
-   **Continuous batching.** Permintaan masuk dikumpulkan secara dinamik dan tidak menunggu kelompok tetap. Dokumentasi menyenaraikan chunked prefill dan prefix caching bersamanya; lihat [prefill dan decode](https://broadrouter.com/ms/glossary/prefill-and-decode/).
-   **Banyak format.** Dokumentasi menyenaraikan FP8, INT8, INT4, GPTQ/[AWQ](https://broadrouter.com/ms/glossary/awq/), [GGUF](https://broadrouter.com/ms/glossary/gguf/) dan lain-lain untuk [kuantisasi](https://broadrouter.com/ms/glossary/quantization/).
-   **Perkakasan.** GPU NVIDIA dan AMD serta beberapa keluarga CPU, dengan plugin untuk pemecut lain.
-   **Pelayan serasi OpenAI.** Mulakan dengan `vllm serve` dan panggilnya seperti [API serasi OpenAI](https://broadrouter.com/ms/glossary/openai-compatible-api/).

Panggilan klien minimum ke pelayan anda sendiri:

```python
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])
```

Pelayan memerlukan [templat chat](https://broadrouter.com/ms/glossary/chat-template/) untuk model. Dokumentasi penyajian memberi amaran: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (Terjemahan: “Tanpa templat chat, pelayan tidak dapat memproses chat dan semua permintaan chat akan ralat.”) Anda boleh membekalkannya dengan `--chat-template`.

## Mengapa ia penting

-   **Garis asas hos sendiri.** Jika anda membandingkan harga API dengan menjalankan GPU sendiri, vLLM ialah enjin biasa untuk mengukur. [Panduan kos hos sendiri vs API](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) kami mencadangkan anda menguji prompt sebenar anda pada concurrency sebenar dengan vLLM atau SGLang.
-   **Cara penyajian mengubah hasil.** Weights yang sama boleh jadi lebih pantas atau perlahan, dan mendapat skor berbeza, bergantung pada versi enjin, kuantisasi dan tetapan.
-   **Kosa kata yang dikongsi.** Istilah seperti PagedAttention, chunked prefill dan [speculative decoding](https://broadrouter.com/ms/glossary/speculative-decoding/) lebih mudah difahami apabila anda tahu di mana vLLM menggunakannya.

## Di BroadNet Inference

BroadNet tidak menyatakan enjin mana yang menyajikan API awamnya, jadi halaman ini tidak mendakwa apa-apa. Apa yang telah diterbitkan BroadNet: pracetak September 2026, [Uno in vLLM](https://broadrouter.com/ms/blog/uno-in-vllm-serving-study/), yang menambah penyesuai self-drafting Uno daripada IFM kepada vLLM dan melaporkan 2.58 kali daya pemprosesan vLLM biasa pada satu strim dan 1.74 kali pada 32, pada H100 dengan Qwen3-8B. Kodnya terbuka dalam repositori vllm-uno BroadNet. Katalog BroadNet juga menyenaraikan binaan AWQ INT4 [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/) pada vLLM tampalannya untuk AMD ROCm dalam konfigurasi makmal. Untuk cara BroadNet menerangkan armada GPUnya, lihat [catatannya tentang perkakasan GPU dan penyajian](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/).

## Soalan lazim

### Adakah vLLM penyedia API?

Tidak. vLLM ialah perisian yang anda jalankan pada perkakasan anda sendiri. Menggunakannya secara terus bermakna anda sendiri mengendalikan GPU, penskalaan dan naik taraf.

### Bolehkah saya halakan SDK OpenAI kepada pelayan vLLM?

Boleh. vLLM menyediakan pelayan serasi OpenAI, jadi anda tetapkan base URL SDK kepada pelayan anda dan hantar permintaan chat completion. Model memerlukan templat chat, jika tidak permintaan chat akan gagal.

### Adakah BroadNet Inference berjalan pada vLLM?

BroadNet tidak menyatakan enjin mana yang menyajikan API awamnya. BroadNet telah menerbitkan pelaksanaan penyelidikan vLLM (Uno in vLLM) dan menyenaraikan binaan vLLM yang ditampal untuk AMD ROCm dalam konfigurasi makmalnya.

## Lihat juga

-   [KV cache](https://broadrouter.com/ms/glossary/kv-cache/) (istilah)
-   [Prefill dan decode](https://broadrouter.com/ms/glossary/prefill-and-decode/) (istilah)
-   [Daya pemprosesan (throughput)](https://broadrouter.com/ms/glossary/throughput/) (istilah)
-   [Kuantisasi (quantization)](https://broadrouter.com/ms/glossary/quantization/) (istilah)
-   [API serasi OpenAI (OpenAI-compatible API)](https://broadrouter.com/ms/glossary/openai-compatible-api/) (istilah)
-   [Speculative decoding (penyahkodan spekulatif)](https://broadrouter.com/ms/glossary/speculative-decoding/) (istilah)
-   [Uno dalam vLLM: apa yang diukur oleh kajian penyajian BroadNet](https://broadrouter.com/ms/blog/uno-in-vllm-serving-study/) (artikel)
-   [Hos LLM sendiri vs API: kos sebenar dan titik pulang modal](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) (artikel)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-vllm&utm_content=page-cta) ·

**Sumber**

-   [Kwon et al., Efficient Memory Management for LLM Serving with PagedAttention, arXiv 2309.06180 (disemak 2026-11-15)](https://arxiv.org/abs/2309.06180)
-   [Dokumentasi vLLM, gambaran keseluruhan (disemak 2026-11-15)](https://docs.vllm.ai/en/latest/)
-   [Dokumentasi vLLM, penyajian dalam talian dan templat chat (disemak 2026-11-15)](https://docs.vllm.ai/en/latest/serving/online_serving/)
-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, pracetak Zenodo (disemak 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
