Kapag nagse-self-host ng open-weight model sa isang GPU server, isa ang vLLM sa mga unang engine na sinusubukan.
Paano ito gumagana
Inilalarawan ng docs ng proyekto ang vLLM bilang “a fast and easy-to-use library for LLM inference and serving”, “Originally developed in the Sky Computing Lab at UC Berkeley”. (Salin: “isang mabilis at madaling gamiting library para sa LLM inference at serving”, “Unang binuo sa Sky Computing Lab sa UC Berkeley”.) Ang mga pangunahing ideya nito:
- PagedAttention. Pinamamahalaan ng 2023 paper sa likod ng vLLM ang KV cache memory gamit ang paraang “inspired by the classical virtual memory and paging techniques in operating systems” (salin: “hango sa klasikong virtual memory at paging technique sa mga operating system”). Iniuulat nito ang “near-zero waste in KV cache memory” (salin: “halos walang nasasayang na KV cache memory”) at 2 hanggang 4 na beses na throughput kumpara sa FasterTransformer at Orca sa magkatulad na latency.
- Continuous batching. Dinamikong bina-batch ang mga papasok na request sa halip na maghintay ng fixed na batch. Kasama nitong nakalista sa docs ang chunked prefill at prefix caching; tingnan ang prefill at decode.
- Maraming format. Nakalista sa docs ang FP8, INT8, INT4, GPTQ/AWQ, GGUF at iba pa para sa quantization.
- Hardware. Mga NVIDIA at AMD GPU at ilang CPU family, may mga plugin para sa ibang accelerator.
- OpenAI-compatible server. Simulan ito gamit ang
vllm serveat tawagin gaya ng isang OpenAI-compatible API.
Isang minimal na client call sa sarili mong server:
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
Kailangan ng server ng chat template para sa model. Babala ng serving docs: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (Salin: “Kung walang chat template, hindi makakapag-process ng chat ang server at mag-e-error ang lahat ng chat request.”) Puwede kang magbigay nito gamit ang --chat-template.
Bakit ito mahalaga
- Batayan sa self-hosting. Kung ikinukumpara mo ang presyo ng API sa pagpapatakbo ng sarili mong GPU, karaniwang engine ang vLLM na ginagamit sa pagsukat. Iminumungkahi ng aming gabay sa gastos ng self-hosting vs API na subukan ang totoong prompt mo sa totoong concurrency gamit ang vLLM o SGLang.
- Nagbabago ang resulta depende sa serving. Puwedeng bumilis o bumagal, at mag-iba ang score, ng parehong weights depende sa bersyon ng engine, quantization at settings.
- Iisang bokabularyo. Mas madaling sundan ang mga terminong gaya ng PagedAttention, chunked prefill at speculative decoding kapag alam mo kung saan ginagamit ng vLLM ang mga ito.
Sa BroadNet Inference
Hindi sinasabi ng BroadNet kung aling engine ang nagse-serve sa public API nito, kaya walang sinasabi ang page na ito tungkol doon. Ang inilathala ng BroadNet: isang preprint noong Setyembre 2026, Uno in vLLM, na nagdaragdag ng Uno self-drafting adapter ng IFM sa vLLM at nag-uulat ng 2.58 na beses ng throughput ng plain vLLM sa isang stream at 1.74 na beses sa 32, sa isang H100 gamit ang Qwen3-8B. Public ang code nito sa vllm-uno repository ng BroadNet. Nakalista rin sa catalogue ng BroadNet, sa mga lab configuration, ang isang AWQ INT4 build ng Qwen3.8 27B sa patched na vLLM nito para sa AMD ROCm. Para sa kung paano inilalarawan ng BroadNet ang fleet nito, tingnan ang post nito tungkol sa GPU hardware at serving.