---
title: "Was ist vLLM? Die Open-Source-Serving-Engine für LLMs"
description: "vLLM ist eine Open-Source-Serving-Engine für LLMs mit PagedAttention, Continuous Batching und OpenAI-kompatiblem Server. Was sie leistet und wann Sie sie einsetzen."
url: https://broadrouter.com/de/glossary/vllm/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/vllm/) (aktualisiert am 2026-11-15).

# vLLM

Aktualisiert 2026-11-15

vLLM ist eine Open-Source-Bibliothek für LLM-Inferenz und -Serving, ursprünglich entwickelt im Sky Computing Lab der UC Berkeley. Sie verwaltet den Speicher des KV-Cache mit PagedAttention, bündelt eingehende Requests per Continuous Batching, unterstützt viele Quantisierungsformate und stellt einen OpenAI-kompatiblen HTTP-Server bereit.

Auch genannt: vLLM-Server, vLLM Inferenz-Engine, LLM-Serving-Engine, vLLM server, vLLM serve

Wer ein Open-Weight-Modell auf einem eigenen GPU-Server betreibt, probiert vLLM meist als eine der ersten Engines aus.

## So funktioniert es

Die Projektdokumentation beschreibt vLLM als „a fast and easy-to-use library for LLM inference and serving“ (Übersetzung: „eine schnelle und einfach nutzbare Bibliothek für LLM-Inferenz und -Serving“), „Originally developed in the Sky Computing Lab at UC Berkeley“ (Übersetzung: „ursprünglich im Sky Computing Lab der UC Berkeley entwickelt“). Die Kernideen:

-   **PagedAttention.** Das Paper von 2023 hinter vLLM verwaltet den Speicher des [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) mit einer Methode, die „inspired by the classical virtual memory and paging techniques in operating systems“ ist (Übersetzung: „von den klassischen Techniken für virtuellen Speicher und Paging in Betriebssystemen inspiriert“). Es berichtet „near-zero waste in KV cache memory“ (Übersetzung: „nahezu keine Verschwendung von KV-Cache-Speicher“) und das 2- bis 4-Fache des [Durchsatzes](https://broadrouter.com/de/glossary/throughput/) von FasterTransformer und Orca bei ähnlicher Latenz.
-   **Continuous Batching.** Eingehende Requests werden dynamisch gebündelt, statt auf einen festen Batch zu warten. Die Dokumentation nennt daneben Chunked Prefill und Prefix Caching; siehe [Prefill und Decode](https://broadrouter.com/de/glossary/prefill-and-decode/).
-   **Viele Formate.** Für die [Quantisierung](https://broadrouter.com/de/glossary/quantization/) listet die Dokumentation FP8, INT8, INT4, GPTQ/[AWQ](https://broadrouter.com/de/glossary/awq/), [GGUF](https://broadrouter.com/de/glossary/gguf/) und weitere.
-   **Hardware.** GPUs von NVIDIA und AMD und mehrere CPU-Familien, mit Plugins für andere Beschleuniger.
-   **Ein OpenAI-kompatibler Server.** Starten Sie ihn mit `vllm serve` und rufen Sie ihn wie eine [OpenAI-kompatible API](https://broadrouter.com/de/glossary/openai-compatible-api/) auf.

Ein minimaler Client-Aufruf an Ihren eigenen Server:

```python
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])
```

Der Server braucht ein [Chat-Template](https://broadrouter.com/de/glossary/chat-template/) für das Modell. Die Serving-Dokumentation warnt: „Without a chat template, the server will not be able to process chat and all chat requests will error.“ (Übersetzung: „Ohne Chat-Template kann der Server keinen Chat verarbeiten, und alle Chat-Requests schlagen fehl.“) Sie können eines mit `--chat-template` übergeben.

## Warum es wichtig ist

-   **Referenz fürs Self-Hosting.** Wenn Sie einen API-Preis mit dem Betrieb eigener GPUs vergleichen, ist vLLM eine gängige Engine für die Messung. Unser [Kostenvergleich Self-Hosting vs. API](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) empfiehlt, Ihre echten Prompts bei realer Nebenläufigkeit mit vLLM oder SGLang zu testen.
-   **Das Serving verändert Ergebnisse.** Dieselben Gewichte können je nach Engine-Version, Quantisierung und Einstellungen schneller oder langsamer sein und anders abschneiden.
-   **Ein gemeinsames Vokabular.** Begriffe wie PagedAttention, Chunked Prefill und [Speculative Decoding](https://broadrouter.com/de/glossary/speculative-decoding/) sind leichter zu verstehen, wenn Sie wissen, wo vLLM sie einsetzt.

## Bei BroadNet Inference

BroadNet sagt nicht, welche Engine seine öffentliche API bedient, daher behauptet diese Seite auch keine. Was BroadNet veröffentlicht hat: einen Preprint vom September 2026, [Uno in vLLM](https://broadrouter.com/de/blog/uno-in-vllm-serving-study/), der IFMs selbstentwerfenden Uno-Adapter (Self-Drafting) zu vLLM hinzufügt und auf einer H100 mit Qwen3-8B das 2,58-Fache des Durchsatzes von reinem vLLM bei einem Stream und das 1,74-Fache bei 32 Streams meldet. Der Code ist öffentlich im Repository vllm-uno von BroadNet. Der Katalog von BroadNet führt außerdem unter den Lab-Konfigurationen einen AWQ-INT4-Build von [Qwen3.8 27B](https://broadrouter.com/de/models/qwen3.8-27b/) auf dem gepatchten vLLM für AMD ROCm. Wie BroadNet seine Flotte beschreibt, lesen Sie im [Beitrag zu GPU-Hardware und Serving](https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/).

## Häufige Fragen

### Ist vLLM ein API-Anbieter?

Nein. vLLM ist Software, die Sie auf Ihrer eigenen Hardware betreiben. Wer sie direkt nutzt, kümmert sich selbst um GPUs, Skalierung und Upgrades.

### Kann ich das OpenAI-SDK auf einen vLLM-Server richten?

Ja. vLLM stellt einen OpenAI-kompatiblen Server bereit, Sie setzen also die Base-URL des SDK auf Ihren Server und senden Chat-Completion-Requests. Das Modell braucht ein Chat-Template, sonst schlagen Chat-Requests fehl.

### Läuft BroadNet Inference auf vLLM?

BroadNet sagt nicht, welche Engine seine öffentliche API bedient. Es hat eine vLLM-Forschungsimplementierung (Uno in vLLM) veröffentlicht und führt unter seinen Lab-Konfigurationen einen gepatchten vLLM-Build für AMD ROCm.

## Siehe auch

-   [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) (Begriff)
-   [Prefill und Decode](https://broadrouter.com/de/glossary/prefill-and-decode/) (Begriff)
-   [Durchsatz (Throughput)](https://broadrouter.com/de/glossary/throughput/) (Begriff)
-   [Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/) (Begriff)
-   [OpenAI-kompatible API](https://broadrouter.com/de/glossary/openai-compatible-api/) (Begriff)
-   [Speculative Decoding (spekulatives Dekodieren)](https://broadrouter.com/de/glossary/speculative-decoding/) (Begriff)
-   [Uno in vLLM: was die Serving-Studie von BroadNet gemessen hat](https://broadrouter.com/de/blog/uno-in-vllm-serving-study/) (Artikel)
-   [LLM selbst hosten oder API: echte Kosten und Break-even](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) (Artikel)
-   [GPU-Hardware und Serving von BroadNet, wie BroadNet sie beschreibt](https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-vllm&utm_content=page-cta) ·

**Quellen**

-   [Kwon et al., Efficient Memory Management for LLM Serving with PagedAttention, arXiv 2309.06180 (geprüft am 2026-11-15)](https://arxiv.org/abs/2309.06180)
-   [vLLM-Dokumentation, Überblick (geprüft am 2026-11-15)](https://docs.vllm.ai/en/latest/)
-   [vLLM-Dokumentation, Online-Serving und Chat-Templates (geprüft am 2026-11-15)](https://docs.vllm.ai/en/latest/serving/online_serving/)
-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, Zenodo-Preprint (geprüft am 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
