GPU 서버에 오픈 웨이트 모델을 직접 올릴 때 가장 먼저 써 보는 엔진 중 하나가 vLLM입니다.
작동 방식
프로젝트 문서는 vLLM을 “a fast and easy-to-use library for LLM inference and serving”(번역: 빠르고 쓰기 쉬운 LLM 추론·서빙 라이브러리), “Originally developed in the Sky Computing Lab at UC Berkeley”(번역: 원래 UC 버클리 Sky Computing Lab에서 개발됨)라고 소개합니다. 핵심 아이디어는 다음과 같습니다.
- PagedAttention. vLLM의 바탕이 된 2023년 논문은 “inspired by the classical virtual memory and paging techniques in operating systems”(번역: 운영체제의 고전적인 가상 메모리와 페이징 기법에서 영감을 받은) 방법으로 KV 캐시 메모리를 관리합니다. 논문은 “near-zero waste in KV cache memory”(번역: KV 캐시 메모리 낭비가 거의 0)를 달성했고, 비슷한 지연 시간에서 FasterTransformer와 Orca보다 2~4배 높은 처리량을 냈다고 보고합니다.
- 연속 배칭(continuous batching). 고정된 배치가 찰 때까지 기다리지 않고 들어오는 요청을 동적으로 묶습니다. 문서는 청크 단위 프리필(chunked prefill)과 프리픽스 캐싱도 함께 소개합니다. 프리필과 디코드를 참고하세요.
- 다양한 형식. 문서는 양자화 형식으로 FP8, INT8, INT4, GPTQ/AWQ, GGUF 등을 나열합니다.
- 하드웨어. NVIDIA와 AMD GPU, 여러 CPU 계열을 지원하며, 다른 가속기는 플러그인으로 지원합니다.
- OpenAI 호환 서버.
vllm serve로 시작하고 OpenAI 호환 API처럼 호출합니다.
내 서버를 호출하는 최소한의 클라이언트 코드입니다.
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
서버에는 해당 모델의 채팅 템플릿이 필요합니다. 서빙 문서는 이렇게 경고합니다. “Without a chat template, the server will not be able to process chat and all chat requests will error.”(번역: 채팅 템플릿이 없으면 서버가 채팅을 처리할 수 없고 모든 채팅 요청이 오류를 낸다) 템플릿은 --chat-template으로 지정할 수 있습니다.
왜 중요한가
- 셀프 호스팅의 기준점. API 가격과 GPU 직접 운영 비용을 비교할 때 흔히 측정 도구로 쓰는 엔진이 vLLM입니다. 셀프 호스팅 vs API 비용 가이드에서는 실제 프롬프트를 실제 동시성으로 vLLM이나 SGLang에서 테스트해 보라고 권합니다.
- 서빙 방식이 결과를 바꿉니다. 같은 가중치라도 엔진 버전, 양자화, 설정에 따라 더 빠르거나 느려지고, 점수도 달라질 수 있습니다.
- 공통 어휘. PagedAttention, 청크 단위 프리필, 추측 디코딩 같은 용어는 vLLM이 이를 어디에 쓰는지 알면 이해하기 쉬워집니다.
BroadNet Inference에서는
BroadNet은 공개 API를 어떤 엔진으로 서빙하는지 밝히지 않으므로, 이 페이지도 특정 엔진이라고 주장하지 않습니다. BroadNet이 공개한 것은 다음과 같습니다. 2026년 9월 프리프린트 Uno in vLLM은 IFM의 Uno 셀프 드래프팅 어댑터를 vLLM에 추가했으며, H100에서 Qwen3-8B로 단일 스트림일 때 일반 vLLM 대비 2.58배, 32개 스트림일 때 1.74배의 처리량을 보고합니다. 코드는 BroadNet의 vllm-uno 저장소에 공개되어 있습니다. BroadNet 카탈로그에는 랩 구성 중 하나로 AMD ROCm용 패치 vLLM 위에서 돌아가는 Qwen3.8 27B의 AWQ INT4 빌드도 올라 있습니다. BroadNet이 자사 GPU 인프라를 어떻게 설명하는지는 GPU 하드웨어와 서빙에 관한 글을 참고하세요.