जब लोग किसी open-weight मॉडल को GPU सर्वर पर ख़ुद होस्ट करते हैं, तो vLLM उन पहले इंजनों में है जिन्हें वे आज़माते हैं।
यह कैसे काम करता है
प्रोजेक्ट के डॉक्स vLLM को “a fast and easy-to-use library for LLM inference and serving” (अनुवाद: LLM inference और सर्विंग के लिए एक तेज़ और आसान लाइब्रेरी) बताते हैं, जो “Originally developed in the Sky Computing Lab at UC Berkeley” (अनुवाद: मूल रूप से UC Berkeley की Sky Computing Lab में बनी) है। इसके मुख्य विचार:
- PagedAttention. vLLM के पीछे का 2023 का पेपर KV cache मेमोरी को ऐसे तरीक़े से सँभालता है जो “inspired by the classical virtual memory and paging techniques in operating systems” (अनुवाद: ऑपरेटिंग सिस्टम की क्लासिक वर्चुअल मेमोरी और पेजिंग तकनीकों से प्रेरित) है। पेपर “near-zero waste in KV cache memory” (अनुवाद: KV cache मेमोरी में लगभग शून्य बर्बादी) और मिलती-जुलती लेटेंसी पर FasterTransformer और Orca से 2 से 4 गुना throughput बताता है।
- Continuous batching. आने वाले अनुरोध तय बैच का इंतज़ार करने के बजाय डायनैमिक रूप से बैच होते हैं। डॉक्स इसके साथ chunked prefill और prefix caching भी गिनाते हैं; prefill और decode देखें।
- कई फ़ॉर्मैट. डॉक्स quantization के लिए FP8, INT8, INT4, GPTQ/AWQ, GGUF और दूसरे फ़ॉर्मैट सूचीबद्ध करते हैं।
- हार्डवेयर. NVIDIA और AMD GPU और कई CPU फ़ैमिली, और दूसरे एक्सेलरेटर के लिए प्लगइन।
- OpenAI-compatible सर्वर. इसे
vllm serveसे शुरू करें और OpenAI-compatible API की तरह कॉल करें।
आपके अपने सर्वर पर एक न्यूनतम क्लाइंट कॉल:
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
सर्वर को मॉडल के लिए चैट टेम्पलेट चाहिए। सर्विंग डॉक्स चेतावनी देते हैं: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (अनुवाद: चैट टेम्पलेट के बिना सर्वर चैट प्रोसेस नहीं कर पाएगा और सभी चैट अनुरोध एरर देंगे।) आप --chat-template से एक टेम्पलेट दे सकते हैं।
यह क्यों मायने रखता है
- सेल्फ़-होस्टिंग का आधार. अगर आप API की कीमत की तुलना अपने GPU चलाने से करते हैं, तो vLLM मापने के लिए एक आम इंजन है। हमारी सेल्फ़-होस्टिंग बनाम API लागत गाइड सुझाती है कि vLLM या SGLang के साथ अपने असली प्रॉम्प्ट असली concurrency पर टेस्ट करें।
- सर्विंग से नतीजे बदलते हैं. वही weights इंजन वर्ज़न, quantization और सेटिंग के हिसाब से तेज़ या धीमे चल सकते हैं, और अलग स्कोर दे सकते हैं।
- साझा शब्दावली. PagedAttention, chunked prefill और speculative decoding जैसे शब्द समझना आसान हो जाता है जब आप जानते हैं कि vLLM इन्हें कहाँ इस्तेमाल करता है।
BroadNet Inference पर
BroadNet यह नहीं बताता कि उसका पब्लिक API कौन-सा इंजन सर्व करता है, इसलिए यह पेज ऐसा कोई दावा नहीं करता। BroadNet ने जो प्रकाशित किया है: सितंबर 2026 का एक प्रीप्रिंट, Uno in vLLM, जो IFM के Uno self-drafting adapter को vLLM में जोड़ता है और H100 पर Qwen3-8B के साथ एक स्ट्रीम पर सादे vLLM से 2.58 गुना और 32 स्ट्रीम पर 1.74 गुना throughput बताता है। इसका कोड BroadNet की vllm-uno रिपॉज़िटरी में पब्लिक है। BroadNet का कैटलॉग अपनी लैब कॉन्फ़िगरेशन में AMD ROCm के लिए पैच किए vLLM पर Qwen3.8 27B का AWQ INT4 बिल्ड भी सूचीबद्ध करता है। BroadNet अपने फ़्लीट का वर्णन कैसे करता है, यह जानने के लिए उसकी GPU हार्डवेयर और सर्विंग पोस्ट देखें।