Un modelo de 4 bits ocupa alrededor de una cuarta parte que su original de 16 bits. AWQ es una de las formas más usadas de llegar ahí sin perder mucha calidad.
Cómo funciona
La cuantización simple redondea cada peso a un pequeño conjunto de valores. Algunos pesos importan más que otros, y redondearlos es lo que más daño hace. El hallazgo clave del artículo de AWQ es que “Protecting only 1% salient weights can greatly reduce quantization error” (traducción: proteger solo el 1 % de los pesos destacados puede reducir mucho el error de cuantización), y que para encontrar esos pesos “we should refer to the activation distribution, not weights.” (traducción: debemos fijarnos en la distribución de las activaciones, no en los pesos).
Los pasos, a grandes rasgos:
- Pase un pequeño conjunto de calibración por el modelo en precisión completa y registre el tamaño de las activaciones por canal.
- Escale al alza los canales de pesos destacados con lo que el artículo llama “an equivalent transformation” (traducción: una transformación equivalente), de modo que el redondeo les cueste menos mientras la salida de la capa se mantiene igual. Así se evita la “hardware-inefficient mix-precision quantization” (traducción: cuantización de precisión mixta, ineficiente para el hardware).
- Redondee todos los pesos a baja precisión, normalmente enteros de 4 bits con una escala por grupo de pesos.
El artículo subraya que “AWQ does not rely on any backpropagation or reconstruction” (traducción: AWQ no depende de ninguna retropropagación ni reconstrucción), por lo que “generalizes to different domains and modalities” (traducción: generaliza a distintos dominios y modalidades) sin sobreajustarse al conjunto de calibración. Ganó el premio al mejor artículo de MLSys 2024.
En vLLM, un checkpoint AWQ ya cuantizado se carga con un solo argumento:
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
La página de vLLM describe que el formato reduce los pesos “from BF16/FP16 to INT4” (traducción: de BF16/FP16 a INT4) y advierte que “The AutoAWQ library is deprecated” (traducción: la biblioteca AutoAWQ está obsoleta); los nuevos modelos AWQ se crean con llm-compressor de vLLM.
Por qué importa
- Memoria y costo. Los pesos más pequeños caben en menos GPUs o en GPUs más baratas, y dejan más memoria para la caché KV, lo que significa más solicitudes a la vez.
- Velocidad. La decodificación lee todos los pesos para cada token, así que pesos más pequeños pueden dar una salida más rápida. El artículo reporta que su runtime TinyChat ofrece “more than 3x speedup over the Huggingface FP16 implementation” (traducción: una aceleración de más de 3 veces frente a la implementación FP16 de Huggingface).
- Mismos pesos, resultados distintos. Dos proveedores que sirven «el mismo modelo» pueden usar cuantizaciones distintas. Pregunte qué formato sirve cada proveedor cuando compare la calidad.
AWQ cuantiza solo los pesos. Es distinto de FP8, que también puede cuantizar activaciones, y de GGUF, un formato de archivo con sus propios tipos de cuantización para llama.cpp.
En BroadNet Inference
BroadNet informa que sirve Gemma 4 VL 26B con pesos AWQ de 4 bits que cuantizó ella misma, junto con decodificación especulativa por predicción de múltiples tokens (k=2) y una caché KV en fp8. Según la página del modelo, probó NVFP4 y lo retiró tras una comparación directa. BroadNet también informa que los mismos pesos de Gemma 4 servidos por un proveedor alojado obtuvieron en promedio 0.13 menos que su propio servicio (BroadNet no indica en qué métrica ni en qué escala); el artículo sobre la flota de GPUs y el servicio tiene los detalles. BroadNet no publica el formato de cuantización de sus demás modelos de la API. Si planea ejecutar pesos AWQ por su cuenta, la guía de costos de autoalojamiento frente a API explica las cuentas.