---
title: "Was ist AWQ? Activation-aware Weight Quantization erklärt"
description: "AWQ ist ein Verfahren zur 4-Bit-Quantisierung von Gewichten, das mit Aktivierungsstatistiken die wichtigsten Gewichte schützt. Funktionsweise und Einsatz."
url: https://broadrouter.com/de/glossary/awq/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/awq/) (aktualisiert am 2026-11-16).

# AWQ (Activation-aware Weight Quantization)

Aktualisiert 2026-11-16

AWQ (Activation-aware Weight Quantization) ist ein Post-Training-Verfahren, das die Gewichte eines LLM auf geringe Präzision komprimiert, meist auf 4-Bit-Ganzzahlen. Es nutzt Aktivierungsstatistiken aus einem kleinen Kalibrierungsset, um die wichtigsten Gewichtskanäle zu finden, und skaliert sie so, dass sie weniger Genauigkeit verlieren. Backpropagation ist nicht nötig.

Auch genannt: AWQ, AWQ-Quantisierung, aktivierungsbewusste Gewichtsquantisierung, activation-aware weight quantization, AWQ quantization

Ein 4-Bit-Modell ist etwa ein Viertel so groß wie sein 16-Bit-Original. AWQ ist einer der meistgenutzten Wege dorthin, ohne viel Qualität zu verlieren.

## So funktioniert es

Einfache [Quantisierung](https://broadrouter.com/de/glossary/quantization/) rundet jedes Gewicht auf eine kleine Menge von Werten. Manche Gewichte sind wichtiger als andere, und sie zu runden schadet am meisten. Die zentrale Erkenntnis des AWQ-Papers lautet: „Protecting only 1% salient weights can greatly reduce quantization error“ (Übersetzung: „Schon der Schutz von nur 1 % der wichtigsten Gewichte kann den Quantisierungsfehler stark verringern“), und um diese Gewichte zu finden, „we should refer to the activation distribution, not weights“ (Übersetzung: „sollten wir uns an der Verteilung der Aktivierungen orientieren, nicht an den Gewichten“).

Die Schritte im Überblick:

1.  Ein kleines Kalibrierungsset durch das Modell in voller Präzision laufen lassen und die Größe der Aktivierungen pro Kanal festhalten.
2.  Die wichtigen Gewichtskanäle mit dem hochskalieren, was das Paper „an equivalent transformation“ (Übersetzung: „eine äquivalente Transformation“) nennt, sodass das Runden sie weniger kostet, während die Ausgabe der Schicht gleich bleibt. Das vermeidet „hardware-inefficient mix-precision quantization“ (Übersetzung: „hardwareineffiziente Quantisierung mit gemischter Präzision“).
3.  Alle Gewichte auf geringe Präzision runden, typischerweise 4-Bit-Ganzzahlen mit einem Skalierungsfaktor pro Gewichtsgruppe.

Das Paper betont, dass „AWQ does not rely on any backpropagation or reconstruction“ (Übersetzung: „AWQ auf keinerlei Backpropagation oder Rekonstruktion angewiesen ist“) und deshalb „generalizes to different domains and modalities“ (Übersetzung: „auf verschiedene Domänen und Modalitäten verallgemeinert“), ohne sich an das Kalibrierungsset zu überanpassen. Es erhielt den Best Paper Award der MLSys 2024.

In vLLM lädt ein vorquantisierter AWQ-Checkpoint mit einem einzigen Argument:

```python
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
```

Die vLLM-Seite beschreibt das Format so, dass es Gewichte „from BF16/FP16 to INT4“ (Übersetzung: „von BF16/FP16 auf INT4“) reduziert, und warnt: „The AutoAWQ library is deprecated“ (Übersetzung: „Die Bibliothek AutoAWQ ist veraltet“). Neue AWQ-Modelle entstehen mit llm-compressor von vLLM.

## Warum es wichtig ist

-   **Speicher und Kosten.** Kleinere Gewichte passen auf weniger oder günstigere GPUs und lassen mehr Speicher für den [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/), also mehr gleichzeitige Anfragen.
-   **Geschwindigkeit.** Beim Decoding wird für jedes Token jedes Gewicht gelesen, kleinere Gewichte können also eine schnellere Ausgabe bedeuten. Laut Paper bringt die eigene Laufzeit TinyChat „more than 3x speedup over the Huggingface FP16 implementation“ (Übersetzung: „mehr als 3-fache Beschleunigung gegenüber der FP16-Implementierung von Huggingface“).
-   **Gleiche Gewichte, andere Ergebnisse.** Zwei Hoster, die „dasselbe Modell“ ausliefern, nutzen womöglich unterschiedliche Quantisierung. Fragen Sie beim Qualitätsvergleich, welches Format ein Anbieter ausliefert.

AWQ quantisiert nur Gewichte. Es unterscheidet sich von [FP8](https://broadrouter.com/de/glossary/fp8/), das auch Aktivierungen quantisieren kann, und von [GGUF](https://broadrouter.com/de/glossary/gguf/), einem Dateiformat mit eigenen Quant-Typen für llama.cpp.

## Bei BroadNet Inference

BroadNet berichtet, [Gemma 4 VL 26B](https://broadrouter.com/de/models/gemma-4-vl-26b/) mit selbst quantisierten 4-Bit-AWQ-Gewichten auszuliefern, zusammen mit spekulativem Decoding per Multi-Token-Prediction (k=2) und einem fp8-KV-Cache. Laut Modellseite wurde NVFP4 getestet und nach einem direkten Vergleich wieder eingestellt. BroadNet berichtet außerdem, dass dieselben Gemma-4-Gewichte bei einem gehosteten Anbieter im Schnitt 0,13 schlechter abschnitten als im eigenen Serving (BroadNet nennt weder Metrik noch Skala); Details stehen im [Beitrag zu GPU-Flotte und Serving](https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/). Das Quantisierungsformat seiner anderen API-Modelle veröffentlicht BroadNet nicht. Wenn Sie AWQ-Gewichte selbst betreiben wollen, rechnet der [Leitfaden zu Self-Hosting vs. API-Kosten](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) die Kosten durch.

## Häufige Fragen

### Ist AWQ dasselbe wie INT4?

AWQ ist ein Verfahren, INT4 ein Zahlenformat. AWQ erzeugt meist 4-Bit-Ganzzahl-Gewichte, ein AWQ-Modell ist also eine Art INT4-Modell. Andere Verfahren wie GPTQ oder die Quant-Typen von GGUF können ebenfalls 4-Bit-Gewichte erzeugen.

### Verschlechtert AWQ die Qualität?

Das kann jede Quantisierung mit wenigen Bits. Das AWQ-Paper berichtet, dass der Schutz von etwa 1 % der wichtigsten Gewichte den Quantisierungsfehler stark verringert, aber Sie sollten das quantisierte Modell mit Ihren eigenen Prompts testen.

### Kann ich AWQ-Modelle in vLLM ausführen?

Ja. Die Dokumentation von vLLM zeigt, wie man einen vorquantisierten AWQ-Checkpoint lädt. Sie weist auch darauf hin, dass die Bibliothek AutoAWQ veraltet ist, und verweist für neue AWQ-Modelle auf das vLLM-Projekt llm-compressor.

## Siehe auch

-   [Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/) (Begriff)
-   [INT4 (4-Bit-Quantisierung)](https://broadrouter.com/de/glossary/int4/) (Begriff)
-   [FP8](https://broadrouter.com/de/glossary/fp8/) (Begriff)
-   [GGUF](https://broadrouter.com/de/glossary/gguf/) (Begriff)
-   [vLLM](https://broadrouter.com/de/glossary/vllm/) (Begriff)
-   [Open-Weight-Modell](https://broadrouter.com/de/glossary/open-weight-model/) (Begriff)
-   [GPU-Hardware und Serving von BroadNet, wie BroadNet sie beschreibt](https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/) (Artikel)
-   [LLM selbst hosten oder API: echte Kosten und Break-even](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-awq&utm_content=page-cta) ·

**Quellen**

-   [Lin et al., AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration, arXiv 2306.00978 (geprüft am 2026-11-15)](https://arxiv.org/abs/2306.00978)
-   [Dokumentation von vLLM, AutoAWQ-Quantisierung (geprüft am 2026-11-15)](https://docs.vllm.ai/en/latest/features/quantization/auto_awq.html)
-   [BroadNet, Modellseite Gemma 4 VL 26B: Serving-Konfiguration (geprüft am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
