BroadRouter
Loslegen

vLLM

Aktualisiert

vLLM ist eine Open-Source-Bibliothek für LLM-Inferenz und -Serving, ursprünglich entwickelt im Sky Computing Lab der UC Berkeley. Sie verwaltet den Speicher des KV-Cache mit PagedAttention, bündelt eingehende Requests per Continuous Batching, unterstützt viele Quantisierungsformate und stellt einen OpenAI-kompatiblen HTTP-Server bereit.

Auch genannt: vLLM-Server, vLLM Inferenz-Engine, LLM-Serving-Engine, vLLM server, vLLM serve

Wer ein Open-Weight-Modell auf einem eigenen GPU-Server betreibt, probiert vLLM meist als eine der ersten Engines aus.

So funktioniert es

Die Projektdokumentation beschreibt vLLM als „a fast and easy-to-use library for LLM inference and serving“ (Übersetzung: „eine schnelle und einfach nutzbare Bibliothek für LLM-Inferenz und -Serving“), „Originally developed in the Sky Computing Lab at UC Berkeley“ (Übersetzung: „ursprünglich im Sky Computing Lab der UC Berkeley entwickelt“). Die Kernideen:

  • PagedAttention. Das Paper von 2023 hinter vLLM verwaltet den Speicher des KV-Cache mit einer Methode, die „inspired by the classical virtual memory and paging techniques in operating systems“ ist (Übersetzung: „von den klassischen Techniken für virtuellen Speicher und Paging in Betriebssystemen inspiriert“). Es berichtet „near-zero waste in KV cache memory“ (Übersetzung: „nahezu keine Verschwendung von KV-Cache-Speicher“) und das 2- bis 4-Fache des Durchsatzes von FasterTransformer und Orca bei ähnlicher Latenz.
  • Continuous Batching. Eingehende Requests werden dynamisch gebündelt, statt auf einen festen Batch zu warten. Die Dokumentation nennt daneben Chunked Prefill und Prefix Caching; siehe Prefill und Decode.
  • Viele Formate. Für die Quantisierung listet die Dokumentation FP8, INT8, INT4, GPTQ/AWQ, GGUF und weitere.
  • Hardware. GPUs von NVIDIA und AMD und mehrere CPU-Familien, mit Plugins für andere Beschleuniger.
  • Ein OpenAI-kompatibler Server. Starten Sie ihn mit vllm serve und rufen Sie ihn wie eine OpenAI-kompatible API auf.

Ein minimaler Client-Aufruf an Ihren eigenen Server:

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

Der Server braucht ein Chat-Template für das Modell. Die Serving-Dokumentation warnt: „Without a chat template, the server will not be able to process chat and all chat requests will error.“ (Übersetzung: „Ohne Chat-Template kann der Server keinen Chat verarbeiten, und alle Chat-Requests schlagen fehl.“) Sie können eines mit --chat-template übergeben.

Warum es wichtig ist

  • Referenz fürs Self-Hosting. Wenn Sie einen API-Preis mit dem Betrieb eigener GPUs vergleichen, ist vLLM eine gängige Engine für die Messung. Unser Kostenvergleich Self-Hosting vs. API empfiehlt, Ihre echten Prompts bei realer Nebenläufigkeit mit vLLM oder SGLang zu testen.
  • Das Serving verändert Ergebnisse. Dieselben Gewichte können je nach Engine-Version, Quantisierung und Einstellungen schneller oder langsamer sein und anders abschneiden.
  • Ein gemeinsames Vokabular. Begriffe wie PagedAttention, Chunked Prefill und Speculative Decoding sind leichter zu verstehen, wenn Sie wissen, wo vLLM sie einsetzt.

Bei BroadNet Inference

BroadNet sagt nicht, welche Engine seine öffentliche API bedient, daher behauptet diese Seite auch keine. Was BroadNet veröffentlicht hat: einen Preprint vom September 2026, Uno in vLLM, der IFMs selbstentwerfenden Uno-Adapter (Self-Drafting) zu vLLM hinzufügt und auf einer H100 mit Qwen3-8B das 2,58-Fache des Durchsatzes von reinem vLLM bei einem Stream und das 1,74-Fache bei 32 Streams meldet. Der Code ist öffentlich im Repository vllm-uno von BroadNet. Der Katalog von BroadNet führt außerdem unter den Lab-Konfigurationen einen AWQ-INT4-Build von Qwen3.8 27B auf dem gepatchten vLLM für AMD ROCm. Wie BroadNet seine Flotte beschreibt, lesen Sie im Beitrag zu GPU-Hardware und Serving.

Häufige Fragen

Ist vLLM ein API-Anbieter?

Nein. vLLM ist Software, die Sie auf Ihrer eigenen Hardware betreiben. Wer sie direkt nutzt, kümmert sich selbst um GPUs, Skalierung und Upgrades.

Kann ich das OpenAI-SDK auf einen vLLM-Server richten?

Ja. vLLM stellt einen OpenAI-kompatiblen Server bereit, Sie setzen also die Base-URL des SDK auf Ihren Server und senden Chat-Completion-Requests. Das Modell braucht ein Chat-Template, sonst schlagen Chat-Requests fehl.

Läuft BroadNet Inference auf vLLM?

BroadNet sagt nicht, welche Engine seine öffentliche API bedient. Es hat eine vLLM-Forschungsimplementierung (Uno in vLLM) veröffentlicht und führt unter seinen Lab-Konfigurationen einen gepatchten vLLM-Build für AMD ROCm.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen