Quando si ospita in proprio un modello open-weight su un server GPU, vLLM è uno dei primi motori che si provano.
Come funziona
La documentazione del progetto descrive vLLM come “a fast and easy-to-use library for LLM inference and serving” (traduzione: una libreria veloce e facile da usare per l’inferenza e il serving di LLM), “Originally developed in the Sky Computing Lab at UC Berkeley” (traduzione: sviluppata originariamente nello Sky Computing Lab di UC Berkeley). Le sue idee centrali:
- PagedAttention. Il paper del 2023 alla base di vLLM gestisce la memoria della KV cache con un metodo “inspired by the classical virtual memory and paging techniques in operating systems” (traduzione: ispirato alle classiche tecniche di memoria virtuale e paginazione dei sistemi operativi). Riporta “near-zero waste in KV cache memory” (traduzione: spreco quasi nullo nella memoria della KV cache) e un throughput da 2 a 4 volte quello di FasterTransformer e Orca a latenza simile.
- Continuous batching. Le richieste in arrivo vengono raggruppate in batch in modo dinamico invece di aspettare un batch fisso. La documentazione elenca accanto a questo il chunked prefill e il prefix caching; vedi prefill e decode.
- Molti formati. Per la quantizzazione la documentazione elenca FP8, INT8, INT4, GPTQ/AWQ, GGUF e altri.
- Hardware. GPU NVIDIA e AMD e diverse famiglie di CPU, con plugin per altri acceleratori.
- Un server compatibile OpenAI. Lo avvii con
vllm servee lo chiami come un’API compatibile OpenAI.
Una chiamata minima dal client al tuo server:
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
Il server ha bisogno di un chat template per il modello. La documentazione sul serving avverte: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (traduzione: senza un chat template il server non potrà elaborare la chat e tutte le richieste di chat andranno in errore.) Puoi passarne uno con --chat-template.
Perché è importante
- Riferimento per il self-hosting. Se confronti il prezzo di un’API con l’uso di GPU tue, vLLM è un motore comune per fare le misure. La nostra guida ai costi del self-hosting rispetto alle API suggerisce di testare i tuoi prompt reali, con la concorrenza reale, su vLLM o SGLang.
- Il serving cambia i risultati. Gli stessi pesi possono essere più veloci o più lenti, e ottenere punteggi diversi, a seconda della versione del motore, della quantizzazione e delle impostazioni.
- Un vocabolario comune. Termini come PagedAttention, chunked prefill e speculative decoding sono più facili da seguire quando sai dove li usa vLLM.
Su BroadNet Inference
BroadNet non dice quale motore serve la sua API pubblica, quindi questa pagina non ne indica uno. Ciò che BroadNet ha pubblicato: un preprint di settembre 2026, Uno in vLLM, che aggiunge a vLLM l’adapter di self-drafting Uno di IFM e riporta un throughput di 2,58 volte quello di vLLM base con uno stream e di 1,74 volte con 32, su una H100 con Qwen3-8B. Il codice è pubblico nel repository vllm-uno di BroadNet. Il catalogo di BroadNet elenca anche, tra le configurazioni di laboratorio, una build AWQ INT4 di Qwen3.8 27B sul suo vLLM con patch per AMD ROCm. Per come BroadNet descrive la propria flotta, vedi il suo articolo su hardware GPU e serving.