BroadRouter
Inizia

AWQ (activation-aware weight quantization)

Aggiornato

AWQ (activation-aware weight quantization) è un metodo post-training che comprime i pesi di un LLM a bassa precisione, di solito interi a 4 bit. Usa le statistiche delle attivazioni di un piccolo set di calibrazione per trovare i canali di pesi più importanti e li scala perché perdano meno accuratezza. Non richiede backpropagation.

Detto anche: quantizzazione AWQ, modello AWQ, AWQ 4 bit, AWQ, activation-aware weight quantization, AWQ quantization

Un modello a 4 bit occupa circa un quarto del suo originale a 16 bit. AWQ è uno dei modi più usati per arrivarci senza perdere molta qualità.

Come funziona

La quantizzazione semplice arrotonda ogni peso a un piccolo insieme di valori. Alcuni pesi contano più di altri, e arrotondarli fa più danni. La scoperta chiave dell’articolo su AWQ è che “Protecting only 1% salient weights can greatly reduce quantization error” (traduzione: proteggere solo l’1% dei pesi salienti può ridurre molto l’errore di quantizzazione), e che per trovare quei pesi “we should refer to the activation distribution, not weights.” (traduzione: dobbiamo guardare la distribuzione delle attivazioni, non i pesi.)

I passaggi, in sintesi:

  1. Fai passare un piccolo set di calibrazione nel modello a precisione piena e registra la grandezza delle attivazioni per canale.
  2. Scala verso l’alto i canali di pesi salienti con quella che l’articolo chiama “an equivalent transformation” (traduzione: una trasformazione equivalente), così l’arrotondamento li penalizza meno mentre l’output del layer resta lo stesso. Questo evita la “hardware-inefficient mix-precision quantization” (traduzione: quantizzazione a precisione mista, inefficiente per l’hardware).
  3. Arrotonda tutti i pesi a bassa precisione, di solito interi a 4 bit con una scala per ogni gruppo di pesi.

L’articolo sottolinea che “AWQ does not rely on any backpropagation or reconstruction” (traduzione: AWQ non si basa su backpropagation né su ricostruzione), quindi “generalizes to different domains and modalities” (traduzione: si generalizza a domini e modalità diversi) senza andare in overfitting sul set di calibrazione. Ha vinto il Best Paper Award di MLSys 2024.

In vLLM, un checkpoint AWQ già quantizzato si carica con un solo argomento:

from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")

La pagina di vLLM descrive il formato come una riduzione dei pesi “from BF16/FP16 to INT4” (traduzione: da BF16/FP16 a INT4) e avverte che “The AutoAWQ library is deprecated” (traduzione: la libreria AutoAWQ è deprecata); i nuovi modelli AWQ si creano con llm-compressor di vLLM.

Perché è importante

  • Memoria e costo. Pesi più piccoli stanno su meno GPU, o su GPU più economiche, e lasciano più memoria alla KV cache, il che significa più richieste contemporanee.
  • Velocità. La fase di decode legge ogni peso per ogni token, quindi pesi più piccoli possono voler dire output più veloce. L’articolo riporta che il suo runtime TinyChat offre “more than 3x speedup over the Huggingface FP16 implementation” (traduzione: un’accelerazione di oltre 3 volte rispetto all’implementazione FP16 di Hugging Face).
  • Stessi pesi, risultati diversi. Due host che servono “lo stesso modello” possono usare quantizzazioni diverse. Quando confronti la qualità, chiedi al provider quale formato serve.

AWQ quantizza solo i pesi. È diverso da FP8, che può quantizzare anche le attivazioni, e da GGUF, un formato di file con i propri tipi di quantizzazione per llama.cpp.

Su BroadNet Inference

BroadNet riferisce di servire Gemma 4 VL 26B con pesi AWQ a 4 bit quantizzati internamente, insieme a speculative decoding con multi-token prediction (k=2) e KV cache in fp8. Secondo la sua pagina del modello, ha testato NVFP4 e lo ha abbandonato dopo un confronto diretto. BroadNet riferisce anche che gli stessi pesi Gemma 4 serviti da un provider in hosting hanno ottenuto in media 0,13 in meno rispetto al proprio serving (BroadNet non dice su quale metrica né su quale scala); i dettagli sono nel post sulla flotta GPU e sul serving. BroadNet non pubblica il formato di quantizzazione degli altri modelli della sua API. Se pensi di eseguire pesi AWQ in proprio, la guida ai costi di self-hosting e API fa i conti.

Domande frequenti

AWQ è la stessa cosa di INT4?

AWQ è un metodo; INT4 è un formato numerico. AWQ di solito produce pesi interi a 4 bit, quindi un modello AWQ è un tipo di modello INT4. Anche altri metodi, come GPTQ o i tipi di quantizzazione GGUF, possono produrre pesi a 4 bit.

AWQ peggiora la qualità?

Qualsiasi quantizzazione a pochi bit può farlo. L’articolo su AWQ riporta che proteggere circa l’1% dei pesi salienti riduce molto l’errore di quantizzazione, ma il modello quantizzato va comunque testato sui tuoi prompt.

Posso eseguire modelli AWQ in vLLM?

Sì. La documentazione di vLLM mostra come caricare un checkpoint AWQ già quantizzato. Segnala anche che la libreria AutoAWQ è deprecata e rimanda al progetto llm-compressor di vLLM per creare nuovi modelli AWQ.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity