---
title: "Uno in vLLM: BroadNet-Serving-Studie, DOI und Ergebnisse"
description: "BroadNet hat den Uno-Self-Drafting-Adapter in vLLM eingebaut und auf einer H100 gemessen: 2,58x Durchsatz bei einem Stream, 1,74x bei 32. Methode, DOI, Grenzen."
url: https://broadrouter.com/de/blog/uno-in-vllm-serving-study/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (aktualisiert am 2026-11-15).

# Uno in vLLM: was die Serving-Studie von BroadNet gemessen hat

Vom Team von BroadNet Inference · 4 Min. Lesezeit · Veröffentlicht 2026-11-15

Uno in vLLM ist ein Preprint von BroadNet vom September 2026 (DOI 10.5281/zenodo.22652610). Es baut Uno, einen Adapter, mit dem ein Modell seine eigenen Tokens entwirft, in vLLM ein. Auf einer H100 mit Qwen3-8B maß BroadNet das 2,58-Fache des Durchsatzes von normalem vLLM bei einem Stream, das 2,20-Fache bei acht und das 1,74-Fache bei 32, innerhalb von 3 % der Referenzimplementierung.

## Das Wichtigste in Kürze

-   Das Paper ist ein Preprint auf Zenodo, DOI 10.5281/zenodo.22652610, veröffentlicht am 8. September 2026 unter CC BY 4.0. Es ist nicht peer-reviewed.
-   Uno ist die Methode von IFM; der Beitrag von BroadNet ist die native vLLM-Integration und die Serving-Messungen.
-   Auf einem kontrollierten Mathe-Workload mit H100 und Qwen3-8B: 2,58x normales vLLM bei 1 Stream, 2,20x bei 8, 1,74x bei 32.
-   Mit Produktionseinstellungen 7.657 Tokens pro Sekunde bei 32 Streams, gegenüber 7.505 für die SGLang-Referenz.
-   Die Gewinne gelten für ein Modell, einen Workload und bestimmte Einstellungen. Messen Sie mit Ihrem eigenen Traffic, bevor Sie sich darauf verlassen.

**Auf dieser Seite**

1.  Welches Problem adressiert Uno?
2.  Was hat BroadNet gebaut?
3.  Wie wurde gemessen?
4.  Was hat die Studie ergeben?
5.  Wo liegen die Grenzen?
6.  Warum ist das relevant, wenn Sie nur eine API aufrufen?

Uno in vLLM ist ein Preprint der Forschungsabteilung von BroadNet, am 8. September 2026 unter der DOI [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610) auf Zenodo veröffentlicht. Es beschreibt eine native vLLM-Implementierung von Uno, einer von IFM entwickelten Speculative-Decoding-Methode, und misst, wie viel schneller sie gegenüber normalem vLLM ausliefert. Der Zenodo-Eintrag nennt Mohammad Al Zubaidi als Autor.

Diese Seite fasst zusammen, was das Paper sagt, wie es gemessen wurde und was es Ihnen sagt und was nicht. Die Zahlen stammen von BroadNet; wir haben sie nicht nachgemessen.

## Welches Problem adressiert Uno?

Ein Sprachmodell erzeugt normalerweise ein Token pro Forward-Pass. Speculative Decoding beschleunigt das, indem es mehrere Tokens im Voraus rät und sie in einem Durchgang des vollen Modells prüft. Die meisten Methoden nutzen dafür ein separates, kleineres Draft-Modell. Uno hängt stattdessen einen trainierten Adapter an das Modell selbst, sodass das Modell seine eigenen Tokens entwirft und sie dann mit seinen ursprünglichen Gewichten verifiziert. Die allgemeine Idee erklärt der Glossareintrag [Speculative Decoding](https://broadrouter.com/de/glossary/speculative-decoding/).

Die Frage des Papers ist praktisch: Bleibt diese Beschleunigung in einer produktiven Serving-Engine erhalten, mit Batching, Caching und vielen gleichzeitigen Anfragen?

## Was hat BroadNet gebaut?

Der Blogbeitrag von BroadNet ist bei der Urheberschaft eindeutig: „Uno, developed by IFM and collaborators“ (Übersetzung: „Uno, entwickelt von IFM und Partnern“) ist die Methode, und der Beitrag von BroadNet ist „the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation“ (Übersetzung: „die native vLLM-Integration, die Technik, die ihre Ausführungspfade zusammenarbeiten lässt, und die Serving-Evaluierung“). Das Abstract nennt die Ausführungsbausteine: bedingtes Adapter-Routing, vollständiger Key/Value-Zustand für Drafts, asynchrones Scheduling, CUDA-Graph-Replay, überlappende Adapterberechnung und Wiederverwendung von Seed-Zeilen.

Der Code ist öffentlich im [Repository vllm-uno](https://github.com/brntech/vllm-uno) von BroadNet, und BroadNet hat ihn vLLM upstream als Pull Request 55947 vorgeschlagen.

## Wie wurde gemessen?

Der Haupttest ist kontrolliert:

-   **Hardware und Modell:** eine NVIDIA H100, Qwen3-8B in bfloat16, mit dem veröffentlichten Uno-Adapter für Qwen3-8B.
-   **Workload:** acht Mathe-Prompts, wiederholt, um größere Batches zu füllen, jeweils bis zu 512 erzeugte Tokens, Prefix-Caching aus.
-   **Vergleichsbasis:** gewöhnliches autoregressives vLLM („normales vLLM“) im selben Aufbau.
-   **Parallelität:** 1, 8 und 32 gleichzeitige Streams.

Ein zweiter, separater Vergleich schaltet Prefix-Caching ein und nutzt die von BroadNet gewählten Serving-Einstellungen, um mit der SGLang-Referenzimplementierung zu vergleichen.

## Was hat die Studie ergeben?

| Messung | Von BroadNet gemeldetes Ergebnis |
| --- | --- |
| Durchsatz gegenüber normalem vLLM, 1 Stream | 2,58x |
| Durchsatz gegenüber normalem vLLM, 8 Streams | 2,20x |
| Durchsatz gegenüber normalem vLLM, 32 Streams | 1,74x |
| Abstand zur SGLang-Referenzimplementierung | innerhalb von 3 % bei 1, 8 und 32 Streams |
| Produktionseinstellungen, 32 Streams | 7.657 Tokens/s, gegenüber 7.505 für SGLang (2,0 % vorn) |
| Warme Latenz bis zum ersten Token, Ablation innerhalb von vLLM | 25 % niedriger mit zwei API-Prozessen statt einem |

Für die Kapazitätsplanung zählt die letzte Zeile des ersten Blocks: 74 % mehr Output pro Sekunde bei 32 gleichzeitigen Streams, von derselben GPU. Das nennt der Blog von BroadNet „the central payoff“ (Übersetzung: „den zentralen Gewinn“), denn eine Beschleunigung, die unter Last verschwindet, bringt einer geteilten API wenig.

Ein späteres Release (v0.2.0, auf dem Model Runner V2 von vLLM) beschreibt der Blog von BroadNet mit dem 2,1- bis 2,4-Fachen an Single-Stream-Output auf Blackwell, dem 1,7- bis 1,9-Fachen auf Ampere und dem 2,6-Fachen auf Hopper. Das sind andere Hardware und andere Versionen als in der Haupttabelle des Papers, deshalb weichen die Zahlen ab.

## Wo liegen die Grenzen?

-   **Ein Modell, ein Workload.** Das kontrollierte Ergebnis gilt für Qwen3-8B mit Mathe-Prompts. Bei Code, Chat oder langen Dokumenten werden womöglich weniger Draft-Tokens akzeptiert.
-   **Gewinne schrumpfen mit der Last.** Der Verlauf von 2,58x zu 1,74x ist die erwartete Form: Ist die GPU ausgelastet, fehlt freie Rechenleistung für das Drafting.
-   **Ein Preprint.** Das Paper ist auf Zenodo hinterlegt, nicht peer-reviewed. Sein Begleitarchiv enthält das Evidenzverzeichnis und die Abbildungsdaten, mit denen andere es prüfen können.
-   **Selbst gemeldet.** BroadNet hat beide Varianten gemessen. Die Übereinstimmung mit der Referenzimplementierung auf 3 % ist die eigene Kontrolle des Papers dafür.

## Warum ist das relevant, wenn Sie nur eine API aufrufen?

Der Durchsatz pro GPU bestimmt, was ein Anbieter verlangen kann und wie schnell er unter Last antwortet. Laut Katalog misst BroadNet Drafting-Methoden bei realer Parallelität, bevor es sich für eine entscheidet, und hat EAGLE3 ausgeschlossen, nachdem es bei 32 gleichzeitigen Anfragen 69 % Durchsatz kostete. Die [Folgestudie zu Gemma 4 26B](https://broadrouter.com/de/blog/uno-mixture-of-experts-gemma-4-study/) wendet dieselbe Methode auf das Mixture-of-Experts-Modell an, das BroadNet als [Gemma 4 VL 26B](https://broadrouter.com/de/models/gemma-4-vl-26b/) anbietet. Wie das zu den übrigen Serving-Entscheidungen von BroadNet passt, zeigt [GPU-Hardware und Serving-Ansatz von BroadNet](https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/).

Wenn Sie eigene vLLM-Server betreiben, lautet die praktische Lehre: Benchmarken Sie jede Drafting-Methode bei der Parallelität, mit der Sie tatsächlich arbeiten, nicht bei einem Stream.

Kostenlose Tools zum Thema (auf Englisch)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Kostenlose Tools (auf Englisch)](https://broadrouter.com/tools/)

## Begriffe in diesem Artikel

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[vLLM](https://broadrouter.com/de/glossary/vllm/)

vLLM ist eine Open-Source-Bibliothek für LLM-Inferenz und -Serving, ursprünglich entwickelt im Sky Computing Lab der UC Berkeley. Sie verwaltet den Speicher des KV-Cache mit PagedAttention, bündelt eingehende Requests per Continuous Batching, unterstützt viele Quantisierungsformate und stellt einen OpenAI-kompatiblen HTTP-Server bereit.

[Durchsatz (Throughput)](https://broadrouter.com/de/glossary/throughput/)

Durchsatz (Throughput) ist beim Betrieb von LLMs die gesamte Arbeit, die ein System pro Zeiteinheit über alle gleichzeitigen Anfragen erledigt, meist gemessen in Output-Tokens pro Sekunde oder Anfragen pro Sekunde. Er unterscheidet sich von der Geschwindigkeit pro Stream, also davon, wie schnell eine einzelne Anfrage ihre Tokens erhält.

[Speculative Decoding (spekulatives Dekodieren)](https://broadrouter.com/de/glossary/speculative-decoding/)

Speculative Decoding ist eine Inferenztechnik, bei der ein kleines, schnelles Draft-Modell mehrere nächste Tokens vorschlägt und das große Zielmodell sie in einem einzigen Forward Pass prüft und die akzeptierten behält. Das beschleunigt die Generierung, ohne die Verteilung der Ausgabe zu verändern.

[Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/)

Concurrency (Parallelität) ist die Zahl der Anfragen, die ein Client gleichzeitig offen hat. LLM-APIs begrenzen sie oft pro Schlüssel oder Plan, getrennt von den Anfragen pro Minute, weil jede offene Anfrage GPU-Kapazität belegt, bis ihre Antwort fertig ist.

[Latenz (LLM)](https://broadrouter.com/de/glossary/latency/)

Latenz ist bei einer Sprachmodell-API die Zeit, die eine Anfrage vom Senden bis zum Empfang des letzten Output-Tokens braucht. Sie ist die Summe aus Time to First Token und Generierungszeit und wird meist als Perzentile wie p50 und p95 angegeben statt als Durchschnitt.

[Mixture of Experts (MoE)](https://broadrouter.com/de/glossary/mixture-of-experts/)

Mixture of Experts (MoE) ist eine Architektur neuronaler Netze, bei der eine Schicht viele Experten-Teilnetze enthält und ein gelernter Router jedes Token nur an wenige davon schickt. Ein MoE-Sprachmodell hat eine große Gesamtzahl an Parametern, nutzt pro Token aber nur eine kleine aktive Teilmenge.

[Time to First Token (TTFT)](https://broadrouter.com/de/glossary/time-to-first-token/)

Time to First Token (TTFT) ist die Zeit vom Senden einer Anfrage an ein Sprachmodell bis zum Eintreffen des ersten Output-Tokens. Sie umfasst Netzwerkzeit, Warteschlange auf dem Server und Prefill, den Schritt, in dem das Modell den ganzen Prompt liest; sie wächst daher mit Prompt-Länge und Last.

## Häufige Fragen

### Was ist Uno?

Uno ist eine Speculative-Decoding-Methode, entwickelt von IFM und Partnern. Ein kleiner trainierter Adapter lässt das Modell mehrere Tokens auf einmal vorschlagen, die dann von den eigenen Gewichten des Modells verifiziert werden. Es gibt kein separates Draft-Modell.

### Ist die Beschleunigung verlustfrei?

BroadNet sagt das für sein Release: Wann immer normales vLLM seine eigene Ausgabe reproduziert, stimmt Uno mit dessen Greedy-Tokens überein, und die Tests der gesampelten Verteilung bestehen. Speculative Decoding verifiziert jedes Draft-Token mit dem vollen Modell, die Ausgabequalität sollte sich also nicht ändern; prüfen Sie das mit Ihren eigenen Prompts.

### Hilft Uno bei hoher Parallelität?

Weniger als bei niedriger Parallelität. Im kontrollierten Test des Papers fiel der Gewinn von 2,58x bei einem Stream auf 1,74x bei 32. Der Katalog von BroadNet meldet außerdem, dass eine andere Methode, EAGLE3, bei 32 gleichzeitigen Anfragen 69 % Durchsatz kostete; Drafting-Methoden müssen also bei Ihrer echten Last getestet werden.

### Kann ich es selbst betreiben?

Ja. BroadNet veröffentlicht die Implementierung in seinem Repository vllm-uno, mit Container-Image, festgelegten Versionen und einem Validierungsprotokoll pro Release, und hat sie vLLM als Pull Request 55947 vorgeschlagen.

### Nutzt BroadNet Inference Uno für seine API-Modelle?

Das sagt BroadNet nicht. Sein Katalog führt für Gemma 4 26B Multi-Token-Prediction-Drafter (k=2) in Produktion. Uno ist ein Forschungsergebnis, das BroadNet veröffentlicht; fragen Sie BroadNet, wenn Sie es auf einem privaten Endpoint brauchen.

## Weiterlesen

-   [Uno auf Gemma 4 26B: die Mixture-of-Experts-Studie von BroadNet](https://broadrouter.com/de/blog/uno-mixture-of-experts-gemma-4-study/)
-   [GPU-Hardware und Serving von BroadNet, wie BroadNet sie beschreibt](https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM-Latenz: TTFT vs. Tokens pro Sekunde vs. End-to-End-Zeit](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/)
-   [Welche Modelle BroadNet getestet und aussortiert hat, und warum](https://broadrouter.com/de/blog/models-broadnet-ruled-out/)
-   [LLM-Antworten cachen, Kosten senken: ein Exact-Match-Cache in Python](https://broadrouter.com/de/blog/cache-llm-responses-cut-cost/)
-   [Menschliche Prüfung als festen Teil Ihres Dokumenten-KI-Workflows](https://broadrouter.com/de/blog/document-review-queues/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**Quellen**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, Zenodo-Preprint v1.0, 2026-09-08 (Eintrag abgerufen am 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: veröffentlichte Papers und zentrale Ergebnisse (abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/research)
-   [BroadNet-Blog, Bringing Uno to vLLM (8. September 2026; abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [Repository vllm-uno von BroadNet (abgerufen am 2026-11-15)](https://github.com/brntech/vllm-uno)
-   [IFM, Repository des Uno-Projekts (abgerufen am 2026-11-15)](https://github.com/ifm-ai/uno)
