---
title: "什么是 AWQ？激活感知权重量化详解 | BroadRouter"
description: "AWQ 是一种 4 位权重量化方法，利用激活值统计来保护最重要的权重。本文介绍它的工作原理、与 INT4 和 GGUF 的区别，以及使用场景。"
url: https://broadrouter.com/zh/glossary/awq/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/awq/)（2026-11-16 更新）。

# AWQ（激活感知权重量化）

更新于 2026-11-16

AWQ（激活感知权重量化）是一种训练后量化方法，把大模型的权重压缩到低精度，通常是 4 位整数。它用一小份校准集的激活值统计找出最重要的权重通道，并对它们做缩放，以减少精度损失。它不需要反向传播。

又称： AWQ、AWQ 量化、激活感知权重量化、激活感知量化、4 位量化、activation-aware weight quantization、AWQ quantization

4 位模型的大小约为 16 位原版的四分之一。AWQ 是在不明显损失质量的前提下做到这一点最常用的方法之一。

## 工作原理

普通的[量化](https://broadrouter.com/zh/glossary/quantization/)把每个权重舍入到少数几个取值上。有些权重比其他权重更重要，对它们舍入造成的伤害也最大。AWQ 论文的核心发现是 “Protecting only 1% salient weights can greatly reduce quantization error”（译文：只保护 1% 的关键权重，就能大幅降低量化误差），而要找到这些权重，“we should refer to the activation distribution, not weights.”（译文：应该参考激活值的分布，而不是权重本身。）

步骤概要：

1.  让一小份校准集通过全精度模型，记录每个通道的激活值大小。
2.  用论文所说的 “an equivalent transformation”（译文：等价变换）放大关键的权重通道，这样舍入对它们的影响更小，而该层的输出保持不变。这样就避免了 “hardware-inefficient mix-precision quantization”（译文：对硬件不友好的混合精度量化）。
3.  把所有权重舍入到低精度，通常是 4 位整数，每组权重有一个缩放因子。

论文强调 “AWQ does not rely on any backpropagation or reconstruction”（译文：AWQ 不依赖任何反向传播或重建），因此它 “generalizes to different domains and modalities”（译文：能泛化到不同的领域和模态），不会过拟合校准集。它获得了 MLSys 2024 最佳论文奖。

在 vLLM 中，预先量化好的 AWQ 检查点只需一个参数就能加载：

```python
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
```

vLLM 的页面说这种格式把权重 “from BF16/FP16 to INT4”（译文：从 BF16/FP16 降到 INT4），并提醒 “The AutoAWQ library is deprecated”（译文：AutoAWQ 库已被弃用）；新的 AWQ 模型用 vLLM 的 llm-compressor 制作。

## 为什么重要

-   **显存与成本。** 权重变小后，可以放进更少或更便宜的 GPU，给 [KV 缓存](https://broadrouter.com/zh/glossary/kv-cache/)留出更多显存，也就能同时处理更多请求。
-   **速度。** 解码时每生成一个 token 都要读一遍所有权重，所以权重越小，输出可能越快。论文报告，其 TinyChat 运行时比 Huggingface FP16 实现 “more than 3x speedup”（译文：快 3 倍以上）。
-   **同样的权重，不同的结果。** 两家服务商提供的“同一个模型”可能用了不同的量化。比较质量时，请问清服务商用的是哪种格式。

AWQ 只量化权重。它不同于 [FP8](https://broadrouter.com/zh/glossary/fp8/)（FP8 也可以量化激活值），也不同于 [GGUF](https://broadrouter.com/zh/glossary/gguf/)（GGUF 是 llama.cpp 使用的文件格式，有自己的量化类型）。

## 在 BroadNet Inference 上

BroadNet 报告称，它提供的 [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) 使用自行量化的 4 位 AWQ 权重，并配合多 token 预测投机解码（k=2）和 fp8 KV 缓存。据其模型页，它测试过 NVFP4，在一次正面对比后弃用了。BroadNet 还报告，同样的 Gemma 4 权重由一家托管服务商提供时，平均得分比它自己的服务低 0.13（BroadNet 没有说明是哪项指标、什么量表）；详情见 [GPU 集群与服务方式](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)一文。BroadNet 没有公布其他 API 模型的量化格式。如果你打算自己运行 AWQ 权重，[自托管与 API 成本对比指南](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)介绍了具体的计算。

## 常见问题

### AWQ 和 INT4 是一回事吗？

AWQ 是一种方法，INT4 是一种数值格式。AWQ 通常产出 4 位整数权重，所以 AWQ 模型是 INT4 模型的一种。GPTQ 或 GGUF 量化类型等其他方法也能产出 4 位权重。

### AWQ 会降低质量吗？

任何低比特量化都可能降低质量。AWQ 论文报告，保护约 1% 的关键权重就能大幅降低量化误差，但你仍应在自己的提示词上测试量化后的模型。

### 能在 vLLM 里运行 AWQ 模型吗？

能。vLLM 的文档演示了如何加载预先量化好的 AWQ 检查点。文档还说明 AutoAWQ 库已被弃用，制作新的 AWQ 模型请使用 vLLM 的 llm-compressor 项目。

## 另请参阅

-   [量化（quantization）](https://broadrouter.com/zh/glossary/quantization/)（术语）
-   [INT4（4-bit 量化）](https://broadrouter.com/zh/glossary/int4/)（术语）
-   [FP8（8 位浮点数）](https://broadrouter.com/zh/glossary/fp8/)（术语）
-   [GGUF](https://broadrouter.com/zh/glossary/gguf/)（术语）
-   [vLLM](https://broadrouter.com/zh/glossary/vllm/)（术语）
-   [开放权重模型（open-weight model）](https://broadrouter.com/zh/glossary/open-weight-model/)（术语）
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)（文章）
-   [自建部署大模型还是用 API：真实成本与盈亏平衡点](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-awq&utm_content=page-cta) ·

**来源**

-   [Lin 等，AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration，arXiv 2306.00978（2026-11-15 查阅）](https://arxiv.org/abs/2306.00978)
-   [vLLM 文档，AutoAWQ 量化（2026-11-15 查阅）](https://docs.vllm.ai/en/latest/features/quantization/auto_awq.html)
-   [BroadNet，Gemma 4 VL 26B 模型页：服务配置（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
