BroadRouter
Loslegen

AWQ (Activation-aware Weight Quantization)

Aktualisiert

AWQ (Activation-aware Weight Quantization) ist ein Post-Training-Verfahren, das die Gewichte eines LLM auf geringe Präzision komprimiert, meist auf 4-Bit-Ganzzahlen. Es nutzt Aktivierungsstatistiken aus einem kleinen Kalibrierungsset, um die wichtigsten Gewichtskanäle zu finden, und skaliert sie so, dass sie weniger Genauigkeit verlieren. Backpropagation ist nicht nötig.

Auch genannt: AWQ, AWQ-Quantisierung, aktivierungsbewusste Gewichtsquantisierung, activation-aware weight quantization, AWQ quantization

Ein 4-Bit-Modell ist etwa ein Viertel so groß wie sein 16-Bit-Original. AWQ ist einer der meistgenutzten Wege dorthin, ohne viel Qualität zu verlieren.

So funktioniert es

Einfache Quantisierung rundet jedes Gewicht auf eine kleine Menge von Werten. Manche Gewichte sind wichtiger als andere, und sie zu runden schadet am meisten. Die zentrale Erkenntnis des AWQ-Papers lautet: „Protecting only 1% salient weights can greatly reduce quantization error“ (Übersetzung: „Schon der Schutz von nur 1 % der wichtigsten Gewichte kann den Quantisierungsfehler stark verringern“), und um diese Gewichte zu finden, „we should refer to the activation distribution, not weights“ (Übersetzung: „sollten wir uns an der Verteilung der Aktivierungen orientieren, nicht an den Gewichten“).

Die Schritte im Überblick:

  1. Ein kleines Kalibrierungsset durch das Modell in voller Präzision laufen lassen und die Größe der Aktivierungen pro Kanal festhalten.
  2. Die wichtigen Gewichtskanäle mit dem hochskalieren, was das Paper „an equivalent transformation“ (Übersetzung: „eine äquivalente Transformation“) nennt, sodass das Runden sie weniger kostet, während die Ausgabe der Schicht gleich bleibt. Das vermeidet „hardware-inefficient mix-precision quantization“ (Übersetzung: „hardwareineffiziente Quantisierung mit gemischter Präzision“).
  3. Alle Gewichte auf geringe Präzision runden, typischerweise 4-Bit-Ganzzahlen mit einem Skalierungsfaktor pro Gewichtsgruppe.

Das Paper betont, dass „AWQ does not rely on any backpropagation or reconstruction“ (Übersetzung: „AWQ auf keinerlei Backpropagation oder Rekonstruktion angewiesen ist“) und deshalb „generalizes to different domains and modalities“ (Übersetzung: „auf verschiedene Domänen und Modalitäten verallgemeinert“), ohne sich an das Kalibrierungsset zu überanpassen. Es erhielt den Best Paper Award der MLSys 2024.

In vLLM lädt ein vorquantisierter AWQ-Checkpoint mit einem einzigen Argument:

from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")

Die vLLM-Seite beschreibt das Format so, dass es Gewichte „from BF16/FP16 to INT4“ (Übersetzung: „von BF16/FP16 auf INT4“) reduziert, und warnt: „The AutoAWQ library is deprecated“ (Übersetzung: „Die Bibliothek AutoAWQ ist veraltet“). Neue AWQ-Modelle entstehen mit llm-compressor von vLLM.

Warum es wichtig ist

  • Speicher und Kosten. Kleinere Gewichte passen auf weniger oder günstigere GPUs und lassen mehr Speicher für den KV-Cache, also mehr gleichzeitige Anfragen.
  • Geschwindigkeit. Beim Decoding wird für jedes Token jedes Gewicht gelesen, kleinere Gewichte können also eine schnellere Ausgabe bedeuten. Laut Paper bringt die eigene Laufzeit TinyChat „more than 3x speedup over the Huggingface FP16 implementation“ (Übersetzung: „mehr als 3-fache Beschleunigung gegenüber der FP16-Implementierung von Huggingface“).
  • Gleiche Gewichte, andere Ergebnisse. Zwei Hoster, die „dasselbe Modell“ ausliefern, nutzen womöglich unterschiedliche Quantisierung. Fragen Sie beim Qualitätsvergleich, welches Format ein Anbieter ausliefert.

AWQ quantisiert nur Gewichte. Es unterscheidet sich von FP8, das auch Aktivierungen quantisieren kann, und von GGUF, einem Dateiformat mit eigenen Quant-Typen für llama.cpp.

Bei BroadNet Inference

BroadNet berichtet, Gemma 4 VL 26B mit selbst quantisierten 4-Bit-AWQ-Gewichten auszuliefern, zusammen mit spekulativem Decoding per Multi-Token-Prediction (k=2) und einem fp8-KV-Cache. Laut Modellseite wurde NVFP4 getestet und nach einem direkten Vergleich wieder eingestellt. BroadNet berichtet außerdem, dass dieselben Gemma-4-Gewichte bei einem gehosteten Anbieter im Schnitt 0,13 schlechter abschnitten als im eigenen Serving (BroadNet nennt weder Metrik noch Skala); Details stehen im Beitrag zu GPU-Flotte und Serving. Das Quantisierungsformat seiner anderen API-Modelle veröffentlicht BroadNet nicht. Wenn Sie AWQ-Gewichte selbst betreiben wollen, rechnet der Leitfaden zu Self-Hosting vs. API-Kosten die Kosten durch.

Häufige Fragen

Ist AWQ dasselbe wie INT4?

AWQ ist ein Verfahren, INT4 ein Zahlenformat. AWQ erzeugt meist 4-Bit-Ganzzahl-Gewichte, ein AWQ-Modell ist also eine Art INT4-Modell. Andere Verfahren wie GPTQ oder die Quant-Typen von GGUF können ebenfalls 4-Bit-Gewichte erzeugen.

Verschlechtert AWQ die Qualität?

Das kann jede Quantisierung mit wenigen Bits. Das AWQ-Paper berichtet, dass der Schutz von etwa 1 % der wichtigsten Gewichte den Quantisierungsfehler stark verringert, aber Sie sollten das quantisierte Modell mit Ihren eigenen Prompts testen.

Kann ich AWQ-Modelle in vLLM ausführen?

Ja. Die Dokumentation von vLLM zeigt, wie man einen vorquantisierten AWQ-Checkpoint lädt. Sie weist auch darauf hin, dass die Bibliothek AutoAWQ veraltet ist, und verweist für neue AWQ-Modelle auf das vLLM-Projekt llm-compressor.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen