BroadRouter
Bắt đầu

vLLM

Cập nhật

vLLM là thư viện mã nguồn mở để chạy suy luận và phục vụ (serving) LLM, ban đầu được phát triển tại Sky Computing Lab của UC Berkeley. Nó quản lý bộ nhớ KV cache bằng PagedAttention, gom request liên tục theo continuous batching, hỗ trợ nhiều định dạng lượng tử hóa và cung cấp HTTP server tương thích OpenAI.

Còn gọi là: vLLM là gì, cách dùng vLLM, engine serving LLM, vLLM server, vLLM serve

Khi tự host một model open-weight trên server GPU, vLLM là một trong những engine đầu tiên mọi người thử.

Cách hoạt động

Tài liệu của dự án mô tả vLLM là “a fast and easy-to-use library for LLM inference and serving” (Bản dịch: một thư viện nhanh và dễ dùng để suy luận và phục vụ LLM), “Originally developed in the Sky Computing Lab at UC Berkeley” (Bản dịch: ban đầu được phát triển tại Sky Computing Lab của UC Berkeley). Các ý tưởng cốt lõi:

  • PagedAttention. Bài báo năm 2023 đứng sau vLLM quản lý bộ nhớ KV cache bằng một phương pháp “inspired by the classical virtual memory and paging techniques in operating systems” (Bản dịch: lấy cảm hứng từ kỹ thuật bộ nhớ ảo và phân trang cổ điển trong hệ điều hành). Bài báo báo cáo “near-zero waste in KV cache memory” (Bản dịch: lãng phí bộ nhớ KV cache gần như bằng không) và throughput gấp 2 đến 4 lần FasterTransformer và Orca ở độ trễ tương đương.
  • Continuous batching. Request đến được gom lô động thay vì chờ đủ một lô cố định. Tài liệu liệt kê chunked prefill và prefix caching đi kèm; xem prefill và decode.
  • Nhiều định dạng. Tài liệu liệt kê FP8, INT8, INT4, GPTQ/AWQ, GGUF và các định dạng khác cho lượng tử hóa.
  • Phần cứng. GPU NVIDIA và AMD cùng nhiều dòng CPU, với plugin cho các bộ tăng tốc khác.
  • Server tương thích OpenAI. Khởi động bằng vllm serve và gọi nó như một API tương thích OpenAI.

Một lời gọi tối giản từ client tới server của bạn:

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

Server cần một chat template cho model. Tài liệu serving cảnh báo: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (Bản dịch: thiếu chat template, server sẽ không xử lý được chat và mọi request chat đều báo lỗi.) Bạn có thể truyền template bằng --chat-template.

Vì sao quan trọng

  • Mốc so sánh khi tự host. Nếu bạn so giá API với việc tự chạy GPU, vLLM là engine thường dùng để đo. Hướng dẫn so chi phí tự host và API của chúng tôi gợi ý thử prompt thật ở mức đồng thời thật với vLLM hoặc SGLang.
  • Cách phục vụ làm thay đổi kết quả. Cùng một bộ trọng số có thể nhanh hơn hoặc chậm hơn, và cho điểm khác nhau, tùy phiên bản engine, lượng tử hóa và thiết lập.
  • Một bộ thuật ngữ chung. Những khái niệm như PagedAttention, chunked prefill và speculative decoding dễ theo dõi hơn khi bạn biết vLLM dùng chúng ở đâu.

Trên BroadNet Inference

BroadNet không cho biết engine nào phục vụ API công khai của mình, nên trang này không khẳng định engine nào. Những gì BroadNet đã công bố: một bản preprint tháng 9 năm 2026, Uno in vLLM, thêm adapter tự soạn nháp Uno của IFM vào vLLM và báo cáo throughput gấp 2,58 lần vLLM thuần ở một luồng và 1,74 lần ở 32 luồng, trên H100 với Qwen3-8B. Code được công khai trong repo vllm-uno của BroadNet. Danh mục của BroadNet cũng liệt kê một bản build AWQ INT4 của Qwen3.8 27B trên vLLM đã vá cho AMD ROCm trong các cấu hình lab. Để xem BroadNet mô tả hạ tầng GPU của mình thế nào, hãy đọc bài về phần cứng GPU và serving.

Câu hỏi thường gặp

vLLM có phải là nhà cung cấp API không?

Không. vLLM là phần mềm bạn chạy trên phần cứng của mình. Dùng trực tiếp nghĩa là bạn tự vận hành GPU, việc mở rộng quy mô và nâng cấp.

Tôi có thể trỏ OpenAI SDK vào một server vLLM không?

Có. vLLM cung cấp server tương thích OpenAI, nên bạn đặt base URL của SDK thành server của mình và gửi request chat completion. Model cần có chat template, nếu không các request chat sẽ thất bại.

BroadNet Inference có chạy trên vLLM không?

BroadNet không cho biết engine nào phục vụ API công khai của mình. BroadNet đã công bố một bản triển khai nghiên cứu trên vLLM (Uno in vLLM) và liệt kê một bản build vLLM đã vá cho AMD ROCm trong các cấu hình lab.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity