4 bit bir model, 16 bitlik orijinalinin yaklaşık dörtte biri boyutundadır. AWQ, oraya fazla kalite kaybetmeden ulaşmanın en çok kullanılan yollarından biridir.
Nasıl çalışır
Düz kuantizasyon her ağırlığı küçük bir değer kümesine yuvarlar. Bazı ağırlıklar diğerlerinden daha önemlidir ve onları yuvarlamak en çok zararı verir. AWQ makalesinin temel bulgusu, “Protecting only 1% salient weights can greatly reduce quantization error” (çeviri: belirgin ağırlıkların yalnızca %1’ini korumak kuantizasyon hatasını büyük ölçüde azaltabilir) ve bu ağırlıkları bulmak için “we should refer to the activation distribution, not weights.” (çeviri: ağırlıklara değil, aktivasyon dağılımına bakmalıyız.) olmasıdır.
Ana hatlarıyla adımlar:
- Küçük bir kalibrasyon setini tam hassasiyetli modelden geçirin ve kanal başına aktivasyon büyüklüklerini kaydedin.
- Makalenin “an equivalent transformation” (çeviri: eşdeğer bir dönüşüm) dediği yöntemle belirgin ağırlık kanallarını büyütün; böylece katmanın çıktısı aynı kalırken yuvarlama onlara daha az mal olur. Bu, “hardware-inefficient mix-precision quantization” (çeviri: donanım açısından verimsiz karışık hassasiyetli kuantizasyon) ihtiyacını ortadan kaldırır.
- Tüm ağırlıkları düşük hassasiyete yuvarlayın; genellikle ağırlık grubu başına bir ölçekle 4 bit tamsayılara.
Makale, “AWQ does not rely on any backpropagation or reconstruction” (çeviri: AWQ herhangi bir geri yayılıma veya yeniden yapılandırmaya dayanmaz) olduğunu vurgular; bu yüzden kalibrasyon setine aşırı uymadan “generalizes to different domains and modalities” (çeviri: farklı alanlara ve modalitelere genellenir). Makale MLSys 2024 En İyi Makale Ödülü’nü kazandı.
vLLM’de önceden kuantize edilmiş bir AWQ checkpoint’i tek bir argümanla yüklenir:
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
vLLM sayfası biçimi ağırlıkları “from BF16/FP16 to INT4” (çeviri: BF16/FP16’dan INT4’e) indiren bir biçim olarak tanımlar ve “The AutoAWQ library is deprecated” (çeviri: AutoAWQ kütüphanesi kullanımdan kaldırıldı) uyarısını yapar; yeni AWQ modelleri vLLM’in llm-compressor aracıyla üretilir.
Neden önemli
- Bellek ve maliyet. Daha küçük ağırlıklar daha az veya daha ucuz GPU’ya sığar ve KV önbelleği için daha fazla bellek bırakır; bu da aynı anda daha fazla istek demektir.
- Hız. Kod çözme (decode) her token için tüm ağırlıkları okur; bu yüzden daha küçük ağırlıklar daha hızlı çıktı anlamına gelebilir. Makale, TinyChat çalışma zamanının “more than 3x speedup over the Huggingface FP16 implementation” (çeviri: Huggingface FP16 uygulamasına göre 3 kattan fazla hızlanma) sağladığını bildirir.
- Aynı ağırlıklar, farklı sonuçlar. “Aynı modeli” sunan iki sağlayıcı farklı kuantizasyon kullanıyor olabilir. Kaliteyi karşılaştırırken sağlayıcıya hangi biçimi sunduğunu sorun.
AWQ yalnızca ağırlıkları kuantize eder. Aktivasyonları da kuantize edebilen FP8’den ve llama.cpp için kendi kuantizasyon türleri olan bir dosya biçimi olan GGUF’tan farklıdır.
BroadNet Inference’ta
BroadNet, Gemma 4 VL 26B modelini kendi kuantize ettiği 4 bit AWQ ağırlıklarıyla, çoklu token tahmini (multi-token prediction) ile spekülatif kod çözme (k=2) ve fp8 KV önbelleğiyle birlikte sunduğunu bildirir. Model sayfasına göre NVFP4’ü test etmiş ve doğrudan karşılaştırmanın ardından kullanımdan kaldırmıştır. BroadNet ayrıca aynı Gemma 4 ağırlıklarının barındırılan bir sağlayıcıda sunulduğunda kendi sunumuna göre ortalama 0.13 daha düşük puan aldığını bildirir (BroadNet bunun hangi metrikte veya ölçekte olduğunu belirtmez); ayrıntılar GPU filosu ve sunum yazısında. BroadNet diğer API modellerinin kuantizasyon biçimini yayımlamaz. AWQ ağırlıklarını kendiniz çalıştırmayı planlıyorsanız kendi sunucunda barındırma ve API maliyeti rehberi hesabı ele alır.