---
title: "Ano ang AWQ? Activation-aware weight quantization | BroadRouter"
description: "Ang AWQ ay 4-bit na weight quantization method na gumagamit ng activation statistics para protektahan ang mahahalagang weights. Paano ito gumagana, saan ginagamit."
url: https://broadrouter.com/fil/glossary/awq/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/awq/) (na-update noong 2026-11-16).

# AWQ (activation-aware weight quantization)

Na-update 2026-11-16

Ang AWQ (activation-aware weight quantization) ay post-training method na nagko-compress sa weights ng LLM sa mababang precision, kadalasang 4-bit integers. Gumagamit ito ng activation statistics mula sa maliit na calibration set para hanapin ang pinakamahalagang weight channels at i-scale ang mga ito para mas kaunti ang mawalang accuracy. Hindi nito kailangan ng backpropagation.

Tinatawag ding: AWQ, activation-aware weight quantization, AWQ quantization, 4-bit AWQ, AWQ model

Mga isang-kapat lang ng laki ng 16-bit na orihinal ang 4-bit na model. Isa ang AWQ sa pinakaginagamit na paraan para makarating doon nang hindi gaanong nababawasan ang kalidad.

## Paano ito gumagana

Sa simpleng [quantization](https://broadrouter.com/fil/glossary/quantization/), ira-round ang bawat weight sa maliit na set ng value. Mas mahalaga ang ilang weight kaysa sa iba, at sila ang pinakanasisira kapag ni-round. Ang pangunahing natuklasan ng AWQ paper ay “Protecting only 1% salient weights can greatly reduce quantization error” (Salin ng BroadRouter: “Malaki ang nababawas sa quantization error kapag 1% lang ng salient weights ang pinrotektahan”), at para mahanap ang mga weight na iyon, “we should refer to the activation distribution, not weights.” (Salin ng BroadRouter: “dapat nating tingnan ang activation distribution, hindi ang weights.”)

Ang mga hakbang, sa buod:

1.  Magpatakbo ng maliit na calibration set sa full-precision na model at itala ang laki ng activation kada channel.
2.  I-scale up ang salient weight channels gamit ang tinatawag ng paper na “an equivalent transformation” (Salin ng BroadRouter: “isang katumbas na transformation”), para mas kaunti ang nawawala sa kanila sa rounding habang nananatiling pareho ang output ng layer. Naiiwasan nito ang “hardware-inefficient mix-precision quantization” (Salin ng BroadRouter: “mixed-precision quantization na hindi episyente sa hardware”).
3.  I-round ang lahat ng weight sa mababang precision, kadalasang 4-bit integers na may scale kada grupo ng weights.

Idinidiin ng paper na “AWQ does not rely on any backpropagation or reconstruction” (Salin ng BroadRouter: “hindi umaasa ang AWQ sa anumang backpropagation o reconstruction”), kaya “generalizes to different domains and modalities” (Salin ng BroadRouter: “naaangkop ito sa iba’t ibang domain at modality”) nang hindi nag-o-overfit sa calibration set. Nanalo ito ng MLSys 2024 Best Paper Award.

Sa vLLM, naglo-load ang pre-quantized AWQ checkpoint gamit ang isang argument:

```python
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
```

Inilalarawan ng page ng vLLM ang format bilang pagbaba ng weights “from BF16/FP16 to INT4” (Salin ng BroadRouter: “mula BF16/FP16 tungong INT4”) at nagbababala na “The AutoAWQ library is deprecated” (Salin ng BroadRouter: “Deprecated na ang AutoAWQ library”); ginagawa ang mga bagong AWQ model gamit ang llm-compressor ng vLLM.

## Bakit ito mahalaga

-   **Memory at gastos.** Kasya ang mas maliliit na weights sa mas kaunti o mas murang GPU at mas maraming memory ang natitira para sa [KV cache](https://broadrouter.com/fil/glossary/kv-cache/), kaya mas maraming request ang kayang sabay-sabay.
-   **Bilis.** Binabasa ng decode ang bawat weight sa bawat token, kaya puwedeng mas mabilis ang output kapag mas maliit ang weights. Iniulat ng paper na nagbibigay ang TinyChat runtime nito ng “more than 3x speedup over the Huggingface FP16 implementation” (Salin ng BroadRouter: “higit 3x na bilis kumpara sa Huggingface FP16 implementation”).
-   **Parehong weights, ibang resulta.** Puwedeng magkaiba ang quantization ng dalawang host na nagse-serve ng “parehong model”. Itanong kung anong format ang sine-serve ng provider kapag nagkukumpara ka ng kalidad.

Weight-only ang AWQ. Iba ito sa [FP8](https://broadrouter.com/fil/glossary/fp8/), na kayang mag-quantize pati ng activations, at sa [GGUF](https://broadrouter.com/fil/glossary/gguf/), isang file format na may sariling quant types para sa llama.cpp.

## Sa BroadNet Inference

Iniulat ng BroadNet na sine-serve nito ang [Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/) gamit ang 4-bit AWQ weights na ito mismo ang nag-quantize, kasama ang multi-token-prediction speculative decoding (k=2) at fp8 KV cache. Ayon sa model page nito, sinubukan nito ang NVFP4 at itinigil ito pagkatapos ng head-to-head na paghahambing. Iniulat din ng BroadNet na 0.13 na mas mababa sa average ang score ng parehong Gemma 4 weights na sine-serve ng isang hosted provider kumpara sa sarili nitong serving (hindi sinasabi ng BroadNet kung sa aling metric o scale); nasa [post tungkol sa GPU fleet at serving](https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/) ang detalye. Hindi inilalathala ng BroadNet ang quantization format ng iba nitong API model. Kung balak mong patakbuhin mismo ang AWQ weights, nasa [gabay sa gastos ng self-hosting kumpara sa API](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) ang kuwenta.

## Mga tanong

### Pareho ba ang AWQ at INT4?

Method ang AWQ; number format ang INT4. Kadalasang 4-bit integer weights ang ginagawa ng AWQ, kaya isang uri ng INT4 model ang AWQ model. Puwede ring gumawa ng 4-bit weights ang ibang method, gaya ng GPTQ o mga GGUF quant type.

### Bumababa ba ang kalidad dahil sa AWQ?

Puwede, gaya ng anumang low-bit quantization. Iniulat ng AWQ paper na malaki ang nababawas sa quantization error kapag pinrotektahan ang mga 1% ng salient weights, pero subukan pa rin ang quantized model sa sarili mong mga prompt.

### Puwede ko bang patakbuhin ang AWQ model sa vLLM?

Oo. Ipinapakita sa docs ng vLLM kung paano mag-load ng pre-quantized AWQ checkpoint. Sinasabi rin nitong deprecated na ang AutoAWQ library at itinuturo ang llm-compressor project ng vLLM para gumawa ng bagong AWQ model.

## Tingnan din

-   [Quantization](https://broadrouter.com/fil/glossary/quantization/) (termino)
-   [INT4](https://broadrouter.com/fil/glossary/int4/) (termino)
-   [FP8](https://broadrouter.com/fil/glossary/fp8/) (termino)
-   [GGUF](https://broadrouter.com/fil/glossary/gguf/) (termino)
-   [vLLM](https://broadrouter.com/fil/glossary/vllm/) (termino)
-   [Open-weight model](https://broadrouter.com/fil/glossary/open-weight-model/) (termino)
-   [GPU hardware at paraan ng serving ng BroadNet, ayon sa BroadNet](https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/) (artikulo)
-   [Self-hosting ng LLM vs API: ang tunay na gastos at break-even](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-awq&utm_content=page-cta) ·

**Mga source**

-   [Lin et al., AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration, arXiv 2306.00978 (sinuri noong 2026-11-15)](https://arxiv.org/abs/2306.00978)
-   [Docs ng vLLM, AutoAWQ quantization (sinuri noong 2026-11-15)](https://docs.vllm.ai/en/latest/features/quantization/auto_awq.html)
-   [BroadNet, model page ng Gemma 4 VL 26B: serving configuration (sinuri noong 2026-11-15) (Ingles)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
