---
title: "AWQ nedir? Aktivasyona duyarlı ağırlık kuantizasyonu"
description: "AWQ, en önemli ağırlıkları korumak için aktivasyon istatistiklerini kullanan 4 bit ağırlık kuantizasyonu yöntemidir. Nasıl çalışır ve nerede kullanılır?"
url: https://broadrouter.com/tr/glossary/awq/
lang: tr
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/glossary/awq/) (güncelleme: 2026-11-16).

# AWQ (activation-aware weight quantization)

Güncellendi 2026-11-16

AWQ (activation-aware weight quantization, aktivasyona duyarlı ağırlık kuantizasyonu), bir LLM'in ağırlıklarını düşük hassasiyete, genellikle 4 bit tamsayılara sıkıştıran eğitim sonrası bir yöntemdir. Küçük bir kalibrasyon setinin aktivasyon istatistikleriyle en önemli ağırlık kanallarını bulur ve daha az doğruluk kaybetmeleri için ölçekler. Geri yayılım gerektirmez.

Diğer adları: AWQ, AWQ kuantizasyonu, aktivasyona duyarlı ağırlık kuantizasyonu, AWQ model, activation-aware weight quantization, AWQ quantization

4 bit bir model, 16 bitlik orijinalinin yaklaşık dörtte biri boyutundadır. AWQ, oraya fazla kalite kaybetmeden ulaşmanın en çok kullanılan yollarından biridir.

## Nasıl çalışır

Düz [kuantizasyon](https://broadrouter.com/tr/glossary/quantization/) her ağırlığı küçük bir değer kümesine yuvarlar. Bazı ağırlıklar diğerlerinden daha önemlidir ve onları yuvarlamak en çok zararı verir. AWQ makalesinin temel bulgusu, “Protecting only 1% salient weights can greatly reduce quantization error” (çeviri: belirgin ağırlıkların yalnızca %1’ini korumak kuantizasyon hatasını büyük ölçüde azaltabilir) ve bu ağırlıkları bulmak için “we should refer to the activation distribution, not weights.” (çeviri: ağırlıklara değil, aktivasyon dağılımına bakmalıyız.) olmasıdır.

Ana hatlarıyla adımlar:

1.  Küçük bir kalibrasyon setini tam hassasiyetli modelden geçirin ve kanal başına aktivasyon büyüklüklerini kaydedin.
2.  Makalenin “an equivalent transformation” (çeviri: eşdeğer bir dönüşüm) dediği yöntemle belirgin ağırlık kanallarını büyütün; böylece katmanın çıktısı aynı kalırken yuvarlama onlara daha az mal olur. Bu, “hardware-inefficient mix-precision quantization” (çeviri: donanım açısından verimsiz karışık hassasiyetli kuantizasyon) ihtiyacını ortadan kaldırır.
3.  Tüm ağırlıkları düşük hassasiyete yuvarlayın; genellikle ağırlık grubu başına bir ölçekle 4 bit tamsayılara.

Makale, “AWQ does not rely on any backpropagation or reconstruction” (çeviri: AWQ herhangi bir geri yayılıma veya yeniden yapılandırmaya dayanmaz) olduğunu vurgular; bu yüzden kalibrasyon setine aşırı uymadan “generalizes to different domains and modalities” (çeviri: farklı alanlara ve modalitelere genellenir). Makale MLSys 2024 En İyi Makale Ödülü’nü kazandı.

vLLM’de önceden kuantize edilmiş bir AWQ checkpoint’i tek bir argümanla yüklenir:

```python
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
```

vLLM sayfası biçimi ağırlıkları “from BF16/FP16 to INT4” (çeviri: BF16/FP16’dan INT4’e) indiren bir biçim olarak tanımlar ve “The AutoAWQ library is deprecated” (çeviri: AutoAWQ kütüphanesi kullanımdan kaldırıldı) uyarısını yapar; yeni AWQ modelleri vLLM’in llm-compressor aracıyla üretilir.

## Neden önemli

-   **Bellek ve maliyet.** Daha küçük ağırlıklar daha az veya daha ucuz GPU’ya sığar ve [KV önbelleği](https://broadrouter.com/tr/glossary/kv-cache/) için daha fazla bellek bırakır; bu da aynı anda daha fazla istek demektir.
-   **Hız.** Kod çözme (decode) her token için tüm ağırlıkları okur; bu yüzden daha küçük ağırlıklar daha hızlı çıktı anlamına gelebilir. Makale, TinyChat çalışma zamanının “more than 3x speedup over the Huggingface FP16 implementation” (çeviri: Huggingface FP16 uygulamasına göre 3 kattan fazla hızlanma) sağladığını bildirir.
-   **Aynı ağırlıklar, farklı sonuçlar.** “Aynı modeli” sunan iki sağlayıcı farklı kuantizasyon kullanıyor olabilir. Kaliteyi karşılaştırırken sağlayıcıya hangi biçimi sunduğunu sorun.

AWQ yalnızca ağırlıkları kuantize eder. Aktivasyonları da kuantize edebilen [FP8](https://broadrouter.com/tr/glossary/fp8/)’den ve llama.cpp için kendi kuantizasyon türleri olan bir dosya biçimi olan [GGUF](https://broadrouter.com/tr/glossary/gguf/)’tan farklıdır.

## BroadNet Inference’ta

BroadNet, [Gemma 4 VL 26B](https://broadrouter.com/tr/models/gemma-4-vl-26b/) modelini kendi kuantize ettiği 4 bit AWQ ağırlıklarıyla, çoklu token tahmini (multi-token prediction) ile spekülatif kod çözme (k=2) ve fp8 KV önbelleğiyle birlikte sunduğunu bildirir. Model sayfasına göre NVFP4’ü test etmiş ve doğrudan karşılaştırmanın ardından kullanımdan kaldırmıştır. BroadNet ayrıca aynı Gemma 4 ağırlıklarının barındırılan bir sağlayıcıda sunulduğunda kendi sunumuna göre ortalama 0.13 daha düşük puan aldığını bildirir (BroadNet bunun hangi metrikte veya ölçekte olduğunu belirtmez); ayrıntılar [GPU filosu ve sunum yazısında](https://broadrouter.com/tr/blog/broadnet-gpu-fleet-and-serving/). BroadNet diğer API modellerinin kuantizasyon biçimini yayımlamaz. AWQ ağırlıklarını kendiniz çalıştırmayı planlıyorsanız [kendi sunucunda barındırma ve API maliyeti rehberi](https://broadrouter.com/tr/blog/self-hosting-llm-vs-api-cost/) hesabı ele alır.

## Sık sorulan sorular

### AWQ ile INT4 aynı şey mi?

AWQ bir yöntemdir; INT4 bir sayı biçimidir. AWQ genellikle 4 bit tamsayı ağırlıklar üretir; yani bir AWQ modeli bir tür INT4 modelidir. GPTQ veya GGUF kuantizasyon türleri gibi başka yöntemler de 4 bit ağırlıklar üretebilir.

### AWQ kaliteyi düşürür mü?

Düşük bitli her kuantizasyon düşürebilir. AWQ makalesi, belirgin ağırlıkların yaklaşık %1'ini korumanın kuantizasyon hatasını büyük ölçüde azalttığını bildirir; yine de kuantize modeli kendi istemlerinizle test etmelisiniz.

### AWQ modellerini vLLM'de çalıştırabilir miyim?

Evet. vLLM belgeleri önceden kuantize edilmiş bir AWQ checkpoint'inin nasıl yükleneceğini gösterir. AutoAWQ kütüphanesinin kullanımdan kaldırıldığını da belirtir ve yeni AWQ modelleri üretmek için vLLM'in llm-compressor projesini önerir.

## Ayrıca bakın

-   [Kuantizasyon (quantization)](https://broadrouter.com/tr/glossary/quantization/) (terim)
-   [INT4](https://broadrouter.com/tr/glossary/int4/) (terim)
-   [FP8](https://broadrouter.com/tr/glossary/fp8/) (terim)
-   [GGUF](https://broadrouter.com/tr/glossary/gguf/) (terim)
-   [vLLM](https://broadrouter.com/tr/glossary/vllm/) (terim)
-   [Açık ağırlıklı model (open-weight model)](https://broadrouter.com/tr/glossary/open-weight-model/) (terim)
-   [BroadNet'in GPU donanımı ve sunum yaklaşımı, BroadNet'in anlatımıyla](https://broadrouter.com/tr/blog/broadnet-gpu-fleet-and-serving/) (yazı)
-   [LLM barındırmak mı, API mi: gerçek maliyet ve başa baş noktası](https://broadrouter.com/tr/blog/self-hosting-llm-vs-api-cost/) (yazı)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-awq&utm_content=page-cta) ·

**Kaynaklar**

-   [Lin vd., AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration, arXiv 2306.00978 (kontrol tarihi 2026-11-15)](https://arxiv.org/abs/2306.00978)
-   [vLLM belgeleri, AutoAWQ kuantizasyonu (kontrol tarihi 2026-11-15)](https://docs.vllm.ai/en/latest/features/quantization/auto_awq.html)
-   [BroadNet, Gemma 4 VL 26B model sayfası: sunum yapılandırması (kontrol tarihi 2026-11-15) (İngilizce)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
