---
title: "AWQ란? 활성화 인식 가중치 양자화 정리 | BroadRouter"
description: "AWQ는 활성값 통계를 이용해 가장 중요한 가중치를 보호하는 4비트 가중치 양자화 방법입니다. 작동 방식과 쓰이는 곳을 정리했습니다."
url: https://broadrouter.com/ko/glossary/awq/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/awq/) (2026-11-16 업데이트).

# AWQ(활성화 인식 가중치 양자화)

업데이트 2026-11-16

AWQ(activation-aware weight quantization, 활성화 인식 가중치 양자화)는 LLM의 가중치를 주로 4비트 정수 같은 낮은 정밀도로 압축하는 학습 후 양자화 방법입니다. 작은 보정(calibration) 세트의 활성값 통계로 가장 중요한 가중치 채널을 찾아 스케일을 조정해 정확도 손실을 줄이며, 역전파가 필요 없습니다.

다른 이름: AWQ 양자화, 활성화 인식 가중치 양자화, AWQ 모델, AWQ, activation-aware weight quantization, AWQ quantization

4비트 모델은 16비트 원본의 약 4분의 1 크기입니다. AWQ는 품질을 크게 잃지 않고 그 크기로 줄이는 가장 많이 쓰이는 방법 중 하나입니다.

## 작동 방식

일반적인 [양자화](https://broadrouter.com/ko/glossary/quantization/)는 모든 가중치를 적은 수의 값으로 반올림합니다. 그런데 가중치마다 중요도가 달라서, 중요한 가중치를 반올림할 때 손해가 가장 큽니다. AWQ 논문의 핵심 발견은 “Protecting only 1% salient weights can greatly reduce quantization error”(번역: 중요한 가중치 1%만 보호해도 양자화 오차를 크게 줄일 수 있다)이며, 그런 가중치를 찾으려면 “we should refer to the activation distribution, not weights.”(번역: 가중치가 아니라 활성값 분포를 봐야 한다)라는 것입니다.

단계를 요약하면 다음과 같습니다.

1.  작은 보정 세트를 원래 정밀도의 모델에 통과시키고 채널별 활성값 크기를 기록합니다.
2.  논문이 “an equivalent transformation”(번역: 등가 변환)이라 부르는 방식으로 중요한 가중치 채널의 스케일을 키웁니다. 층의 출력은 그대로 두면서 반올림 손해를 줄이는 것입니다. 이렇게 하면 “hardware-inefficient mix-precision quantization”(번역: 하드웨어 효율이 낮은 혼합 정밀도 양자화)을 피할 수 있습니다.
3.  모든 가중치를 낮은 정밀도로 반올림합니다. 보통 가중치 그룹마다 스케일을 하나씩 둔 4비트 정수입니다.

논문은 “AWQ does not rely on any backpropagation or reconstruction”(번역: AWQ는 역전파나 재구성에 의존하지 않는다)이라고 강조하며, 그래서 보정 세트에 과적합하지 않고 “generalizes to different domains and modalities”(번역: 여러 도메인과 모달리티에 일반화된다)라고 설명합니다. 이 논문은 MLSys 2024 최우수 논문상을 받았습니다.

vLLM에서는 미리 양자화된 AWQ 체크포인트를 인자 하나로 불러옵니다.

```python
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
```

vLLM 문서는 이 형식이 가중치를 “from BF16/FP16 to INT4”(번역: BF16/FP16에서 INT4로) 줄인다고 설명하고, “The AutoAWQ library is deprecated”(번역: AutoAWQ 라이브러리는 deprecated되었다)라고 경고합니다. 새 AWQ 모델은 vLLM의 llm-compressor로 만듭니다.

## 왜 중요한가

-   **메모리와 비용.** 가중치가 작으면 더 적거나 더 저렴한 GPU에 들어가고, [KV 캐시](https://broadrouter.com/ko/glossary/kv-cache/)에 쓸 메모리가 늘어 동시에 더 많은 요청을 처리할 수 있습니다.
-   **속도.** 디코딩은 토큰마다 모든 가중치를 읽으므로, 가중치가 작으면 출력이 빨라질 수 있습니다. 논문은 자체 TinyChat 런타임이 “more than 3x speedup over the Huggingface FP16 implementation”(번역: Huggingface FP16 구현 대비 3배 이상의 속도 향상)을 보인다고 보고합니다.
-   **같은 가중치, 다른 결과.** “같은 모델”을 서빙하는 두 호스트가 서로 다른 양자화를 쓸 수 있습니다. 품질을 비교할 때는 제공업체가 어떤 형식으로 서빙하는지 물어보세요.

AWQ는 가중치만 양자화합니다. 활성값까지 양자화할 수 있는 [FP8](https://broadrouter.com/ko/glossary/fp8/)과 다르고, llama.cpp용 자체 양자화 타입을 가진 파일 형식인 [GGUF](https://broadrouter.com/ko/glossary/gguf/)와도 다릅니다.

## BroadNet Inference에서는

BroadNet은 [Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/)를 직접 양자화한 4비트 AWQ 가중치로 서빙하며, 다중 토큰 예측 추측 디코딩(k=2)과 fp8 KV 캐시를 함께 쓴다고 보고합니다. 모델 페이지에 따르면 NVFP4도 테스트했지만 직접 비교 후 사용을 중단했습니다. BroadNet은 또 같은 Gemma 4 가중치를 다른 호스팅 제공업체가 서빙했을 때 자사 서빙보다 평균 0.13 낮았다고 보고합니다(어떤 지표와 척도 기준인지는 밝히지 않습니다). 자세한 내용은 [GPU 플릿과 서빙 글](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)에 있습니다. BroadNet은 다른 API 모델의 양자화 형식은 공개하지 않습니다. AWQ 가중치를 직접 운영할 계획이라면 [셀프 호스팅과 API 비용 비교 가이드](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/)에서 계산 방법을 확인하세요.

## 자주 묻는 질문

### AWQ와 INT4는 같은 건가요?

AWQ는 방법이고 INT4는 숫자 형식입니다. AWQ는 보통 4비트 정수 가중치를 만들기 때문에, AWQ 모델은 INT4 모델의 한 종류입니다. GPTQ나 GGUF 양자화 타입 같은 다른 방법으로도 4비트 가중치를 만들 수 있습니다.

### AWQ를 쓰면 품질이 떨어지나요?

낮은 비트 양자화는 모두 그럴 수 있습니다. AWQ 논문은 중요한 가중치 약 1%를 보호하면 양자화 오차가 크게 줄어든다고 보고하지만, 양자화된 모델은 직접 쓰는 프롬프트로 테스트해야 합니다.

### vLLM에서 AWQ 모델을 실행할 수 있나요?

네. vLLM 문서에 미리 양자화된 AWQ 체크포인트를 불러오는 방법이 나와 있습니다. 문서는 AutoAWQ 라이브러리가 deprecated되었다고 밝히고, 새 AWQ 모델을 만들 때는 vLLM의 llm-compressor 프로젝트를 쓰라고 안내합니다.

## 함께 보기

-   [양자화(quantization)](https://broadrouter.com/ko/glossary/quantization/) (용어)
-   [INT4(4비트 정수 양자화)](https://broadrouter.com/ko/glossary/int4/) (용어)
-   [FP8(8비트 부동소수점)](https://broadrouter.com/ko/glossary/fp8/) (용어)
-   [GGUF(llama.cpp 모델 파일 형식)](https://broadrouter.com/ko/glossary/gguf/) (용어)
-   [vLLM](https://broadrouter.com/ko/glossary/vllm/) (용어)
-   [오픈 웨이트 모델(open-weight model)](https://broadrouter.com/ko/glossary/open-weight-model/) (용어)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/) (글)
-   [LLM 자체 호스팅 vs API: 실제 비용과 손익분기점](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-awq&utm_content=page-cta) ·

**출처**

-   [Lin 외, AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration, arXiv 2306.00978 (2026-11-15 확인)](https://arxiv.org/abs/2306.00978)
-   [vLLM 문서, AutoAWQ 양자화 (2026-11-15 확인)](https://docs.vllm.ai/en/latest/features/quantization/auto_awq.html)
-   [BroadNet, Gemma 4 VL 26B 모델 페이지: 서빙 구성 (2026-11-15 확인) (영어)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
