4 位模型的大小约为 16 位原版的四分之一。AWQ 是在不明显损失质量的前提下做到这一点最常用的方法之一。
工作原理
普通的量化把每个权重舍入到少数几个取值上。有些权重比其他权重更重要,对它们舍入造成的伤害也最大。AWQ 论文的核心发现是 “Protecting only 1% salient weights can greatly reduce quantization error”(译文:只保护 1% 的关键权重,就能大幅降低量化误差),而要找到这些权重,“we should refer to the activation distribution, not weights.”(译文:应该参考激活值的分布,而不是权重本身。)
步骤概要:
- 让一小份校准集通过全精度模型,记录每个通道的激活值大小。
- 用论文所说的 “an equivalent transformation”(译文:等价变换)放大关键的权重通道,这样舍入对它们的影响更小,而该层的输出保持不变。这样就避免了 “hardware-inefficient mix-precision quantization”(译文:对硬件不友好的混合精度量化)。
- 把所有权重舍入到低精度,通常是 4 位整数,每组权重有一个缩放因子。
论文强调 “AWQ does not rely on any backpropagation or reconstruction”(译文:AWQ 不依赖任何反向传播或重建),因此它 “generalizes to different domains and modalities”(译文:能泛化到不同的领域和模态),不会过拟合校准集。它获得了 MLSys 2024 最佳论文奖。
在 vLLM 中,预先量化好的 AWQ 检查点只需一个参数就能加载:
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
vLLM 的页面说这种格式把权重 “from BF16/FP16 to INT4”(译文:从 BF16/FP16 降到 INT4),并提醒 “The AutoAWQ library is deprecated”(译文:AutoAWQ 库已被弃用);新的 AWQ 模型用 vLLM 的 llm-compressor 制作。
为什么重要
- 显存与成本。 权重变小后,可以放进更少或更便宜的 GPU,给 KV 缓存留出更多显存,也就能同时处理更多请求。
- 速度。 解码时每生成一个 token 都要读一遍所有权重,所以权重越小,输出可能越快。论文报告,其 TinyChat 运行时比 Huggingface FP16 实现 “more than 3x speedup”(译文:快 3 倍以上)。
- 同样的权重,不同的结果。 两家服务商提供的“同一个模型”可能用了不同的量化。比较质量时,请问清服务商用的是哪种格式。
AWQ 只量化权重。它不同于 FP8(FP8 也可以量化激活值),也不同于 GGUF(GGUF 是 llama.cpp 使用的文件格式,有自己的量化类型)。
在 BroadNet Inference 上
BroadNet 报告称,它提供的 Gemma 4 VL 26B 使用自行量化的 4 位 AWQ 权重,并配合多 token 预测投机解码(k=2)和 fp8 KV 缓存。据其模型页,它测试过 NVFP4,在一次正面对比后弃用了。BroadNet 还报告,同样的 Gemma 4 权重由一家托管服务商提供时,平均得分比它自己的服务低 0.13(BroadNet 没有说明是哪项指标、什么量表);详情见 GPU 集群与服务方式一文。BroadNet 没有公布其他 API 模型的量化格式。如果你打算自己运行 AWQ 权重,自托管与 API 成本对比指南介绍了具体的计算。