Um modelo de 4 bits tem cerca de um quarto do tamanho do original de 16 bits. O AWQ é um dos jeitos mais usados de chegar lá sem perder muita qualidade.
Como funciona
A quantização simples arredonda cada peso para um pequeno conjunto de valores. Alguns pesos importam mais que outros, e arredondá-los é o que mais prejudica. A principal descoberta do artigo do AWQ é que “Protecting only 1% salient weights can greatly reduce quantization error” (tradução: proteger só 1% dos pesos salientes pode reduzir muito o erro de quantização), e que, para achar esses pesos, “we should refer to the activation distribution, not weights.” (tradução: devemos olhar a distribuição das ativações, não os pesos.)
As etapas, em resumo:
- Passe um pequeno conjunto de calibração pelo modelo em precisão total e registre o tamanho das ativações por canal.
- Aumente a escala dos canais de pesos salientes com o que o artigo chama de “an equivalent transformation” (tradução: uma transformação equivalente), para que o arredondamento os prejudique menos enquanto a saída da camada continua a mesma. Isso evita a “hardware-inefficient mix-precision quantization” (tradução: quantização de precisão mista, ineficiente para o hardware).
- Arredonde todos os pesos para baixa precisão, normalmente inteiros de 4 bits com uma escala por grupo de pesos.
O artigo destaca que “AWQ does not rely on any backpropagation or reconstruction” (tradução: o AWQ não depende de backpropagation nem de reconstrução), então “generalizes to different domains and modalities” (tradução: generaliza para domínios e modalidades diferentes) sem overfitting no conjunto de calibração. Ele ganhou o Best Paper Award do MLSys 2024.
No vLLM, um checkpoint AWQ já quantizado carrega com um único argumento:
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
A página do vLLM descreve o formato como uma redução dos pesos “from BF16/FP16 to INT4” (tradução: de BF16/FP16 para INT4) e avisa que “The AutoAWQ library is deprecated” (tradução: a biblioteca AutoAWQ está obsoleta); novos modelos AWQ são feitos com o llm-compressor do vLLM.
Por que isso importa
- Memória e custo. Pesos menores cabem em menos GPUs, ou em GPUs mais baratas, e deixam mais memória para o KV cache, o que significa mais requisições ao mesmo tempo.
- Velocidade. O decode lê todos os pesos a cada token, então pesos menores podem significar saída mais rápida. O artigo relata que o runtime TinyChat oferece “more than 3x speedup over the Huggingface FP16 implementation” (tradução: aceleração de mais de 3 vezes sobre a implementação FP16 do Hugging Face).
- Mesmos pesos, resultados diferentes. Dois hosts que servem “o mesmo modelo” podem usar quantizações diferentes. Pergunte qual formato o provedor serve quando for comparar qualidade.
O AWQ quantiza só os pesos. Ele é diferente do FP8, que pode quantizar também as ativações, e do GGUF, um formato de arquivo com tipos de quantização próprios para o llama.cpp.
Na BroadNet Inference
A BroadNet relata que serve o Gemma 4 VL 26B com pesos AWQ de 4 bits que ela mesma quantizou, junto com speculative decoding por multi-token prediction (k=2) e KV cache em fp8. Segundo a página do modelo, ela testou o NVFP4 e o abandonou depois de uma comparação direta. A BroadNet também relata que os mesmos pesos do Gemma 4 servidos por um provedor hospedado marcaram, em média, 0,13 a menos que o serving dela (a BroadNet não diz em qual métrica ou escala); o post sobre a frota de GPUs e o serving tem os detalhes. A BroadNet não publica o formato de quantização dos outros modelos da API. Se você pretende rodar pesos AWQ por conta própria, o guia de custo de self-hosting vs. API faz as contas.