---
title: "Apakah itu AWQ? Kuantisasi pemberat peka pengaktifan"
description: "AWQ ialah kaedah kuantisasi pemberat 4-bit yang menggunakan statistik pengaktifan untuk melindungi pemberat paling penting. Cara ia berfungsi dan di mana digunakan."
url: https://broadrouter.com/ms/glossary/awq/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/awq/) (dikemas kini 2026-11-16).

# AWQ (activation-aware weight quantization)

Dikemas kini 2026-11-16

AWQ (activation-aware weight quantization) ialah kaedah pasca latihan yang memampatkan pemberat LLM kepada ketepatan rendah, biasanya integer 4-bit. Ia menggunakan statistik pengaktifan daripada set kalibrasi kecil untuk mencari saluran pemberat paling penting dan menskalakannya supaya kurang ketepatan hilang. Ia tidak memerlukan backpropagation.

Juga dikenali sebagai: AWQ, kuantisasi AWQ, model AWQ, AWQ 4-bit, activation-aware weight quantization, AWQ quantization

Model 4-bit kira-kira suku saiz model asal 16-bit. AWQ ialah salah satu cara paling banyak digunakan untuk sampai ke situ tanpa kehilangan banyak kualiti.

## Cara ia berfungsi

[Kuantisasi](https://broadrouter.com/ms/glossary/quantization/) biasa membundarkan setiap pemberat kepada set nilai yang kecil. Sesetengah pemberat lebih penting daripada yang lain, dan membundarkannya paling merosakkan. Penemuan utama kertas AWQ ialah “Protecting only 1% salient weights can greatly reduce quantization error” (Terjemahan BroadRouter: “Melindungi hanya 1% pemberat penting boleh sangat mengurangkan ralat kuantisasi”), dan untuk mencari pemberat itu, “we should refer to the activation distribution, not weights.” (Terjemahan BroadRouter: “kita perlu merujuk taburan pengaktifan, bukan pemberat.”)

Langkah-langkahnya, secara ringkas:

1.  Jalankan set kalibrasi kecil melalui model ketepatan penuh dan rekodkan saiz pengaktifan bagi setiap saluran.
2.  Skalakan naik saluran pemberat penting dengan apa yang kertas itu panggil “an equivalent transformation” (Terjemahan BroadRouter: “transformasi yang setara”), supaya pembundaran kurang menjejaskannya sementara output lapisan kekal sama. Ini mengelakkan “hardware-inefficient mix-precision quantization” (Terjemahan BroadRouter: “kuantisasi ketepatan campuran yang tidak cekap untuk perkakasan”).
3.  Bundarkan semua pemberat kepada ketepatan rendah, biasanya integer 4-bit dengan satu skala bagi setiap kumpulan pemberat.

Kertas itu menegaskan bahawa “AWQ does not rely on any backpropagation or reconstruction” (Terjemahan BroadRouter: “AWQ tidak bergantung pada sebarang backpropagation atau pembinaan semula”), jadi ia “generalizes to different domains and modalities” (Terjemahan BroadRouter: “boleh digeneralisasikan kepada domain dan modaliti berbeza”) tanpa overfitting pada set kalibrasi. Ia memenangi Anugerah Kertas Terbaik MLSys 2024.

Dalam vLLM, checkpoint AWQ yang telah dikuantisasi dimuatkan dengan satu argumen:

```python
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
```

Halaman vLLM menerangkan format itu sebagai mengurangkan pemberat “from BF16/FP16 to INT4” (Terjemahan BroadRouter: “daripada BF16/FP16 kepada INT4”) dan memberi amaran bahawa “The AutoAWQ library is deprecated” (Terjemahan BroadRouter: “Library AutoAWQ sudah deprecated”); model AWQ baharu dihasilkan dengan llm-compressor vLLM.

## Mengapa ia penting

-   **Memori dan kos.** Pemberat yang lebih kecil muat pada GPU yang lebih sedikit atau lebih murah dan meninggalkan lebih banyak memori untuk [KV cache](https://broadrouter.com/ms/glossary/kv-cache/), bermakna lebih banyak permintaan serentak.
-   **Kelajuan.** Decode membaca setiap pemberat bagi setiap token, jadi pemberat yang lebih kecil boleh bermakna output lebih pantas. Kertas itu melaporkan runtime TinyChat memberikan “more than 3x speedup over the Huggingface FP16 implementation” (Terjemahan BroadRouter: “kelajuan lebih 3x berbanding pelaksanaan Huggingface FP16”).
-   **Pemberat sama, hasil berbeza.** Dua hos yang menyajikan “model yang sama” mungkin menggunakan kuantisasi berbeza. Tanya format yang disajikan oleh penyedia apabila anda membandingkan kualiti.

AWQ hanya untuk pemberat. Ia berbeza daripada [FP8](https://broadrouter.com/ms/glossary/fp8/), yang boleh mengkuantisasi pengaktifan juga, dan daripada [GGUF](https://broadrouter.com/ms/glossary/gguf/), format fail dengan jenis kuantisasi tersendiri untuk llama.cpp.

## Di BroadNet Inference

BroadNet melaporkan bahawa ia menyajikan [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/) dengan pemberat AWQ 4-bit yang dikuantisasinya sendiri, bersama speculative decoding multi-token-prediction (k=2) dan KV cache fp8. Menurut halaman modelnya, ia menguji NVFP4 dan menghentikannya selepas perbandingan secara langsung. BroadNet juga melaporkan bahawa pemberat Gemma 4 yang sama yang disajikan oleh penyedia berhos mencatat skor purata 0.13 lebih rendah berbanding penyajiannya sendiri (BroadNet tidak menyatakan metrik atau skala yang digunakan); [artikel armada GPU dan penyajian](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/) mengandungi butirannya. BroadNet tidak menerbitkan format kuantisasi model API lainnya. Jika anda bercadang menjalankan pemberat AWQ sendiri, [panduan kos self-hosting vs API](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) merangkumi kiraannya.

## Soalan lazim

### Adakah AWQ sama dengan INT4?

AWQ ialah kaedah; INT4 ialah format nombor. AWQ biasanya menghasilkan pemberat integer 4-bit, jadi model AWQ ialah sejenis model INT4. Kaedah lain, seperti GPTQ atau jenis kuantisasi GGUF, juga boleh menghasilkan pemberat 4-bit.

### Adakah AWQ mengurangkan kualiti?

Mana-mana kuantisasi bit rendah boleh mengurangkannya. Kertas AWQ melaporkan bahawa melindungi kira-kira 1% pemberat penting (salient) sangat mengurangkan ralat kuantisasi, tetapi anda perlu menguji model terkuantisasi pada prompt anda sendiri.

### Bolehkah saya menjalankan model AWQ dalam vLLM?

Boleh. Dokumentasi vLLM menunjukkan cara memuatkan checkpoint AWQ yang telah dikuantisasi. Ia juga menyatakan bahawa library AutoAWQ sudah deprecated dan merujuk kepada projek llm-compressor vLLM untuk menghasilkan model AWQ baharu.

## Lihat juga

-   [Kuantisasi (quantization)](https://broadrouter.com/ms/glossary/quantization/) (istilah)
-   [INT4](https://broadrouter.com/ms/glossary/int4/) (istilah)
-   [FP8](https://broadrouter.com/ms/glossary/fp8/) (istilah)
-   [GGUF](https://broadrouter.com/ms/glossary/gguf/) (istilah)
-   [vLLM](https://broadrouter.com/ms/glossary/vllm/) (istilah)
-   [Model open-weight (model pemberat terbuka)](https://broadrouter.com/ms/glossary/open-weight-model/) (istilah)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/) (artikel)
-   [Hos LLM sendiri vs API: kos sebenar dan titik pulang modal](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-awq&utm_content=page-cta) ·

**Sumber**

-   [Lin et al., AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration, arXiv 2306.00978 (disemak 2026-11-15)](https://arxiv.org/abs/2306.00978)
-   [Dokumentasi vLLM, kuantisasi AutoAWQ (disemak 2026-11-15)](https://docs.vllm.ai/en/latest/features/quantization/auto_awq.html)
-   [BroadNet, halaman model Gemma 4 VL 26B: konfigurasi penyajian (disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
