Model 4-bit kira-kira suku saiz model asal 16-bit. AWQ ialah salah satu cara paling banyak digunakan untuk sampai ke situ tanpa kehilangan banyak kualiti.
Cara ia berfungsi
Kuantisasi biasa membundarkan setiap pemberat kepada set nilai yang kecil. Sesetengah pemberat lebih penting daripada yang lain, dan membundarkannya paling merosakkan. Penemuan utama kertas AWQ ialah “Protecting only 1% salient weights can greatly reduce quantization error” (Terjemahan BroadRouter: “Melindungi hanya 1% pemberat penting boleh sangat mengurangkan ralat kuantisasi”), dan untuk mencari pemberat itu, “we should refer to the activation distribution, not weights.” (Terjemahan BroadRouter: “kita perlu merujuk taburan pengaktifan, bukan pemberat.”)
Langkah-langkahnya, secara ringkas:
- Jalankan set kalibrasi kecil melalui model ketepatan penuh dan rekodkan saiz pengaktifan bagi setiap saluran.
- Skalakan naik saluran pemberat penting dengan apa yang kertas itu panggil “an equivalent transformation” (Terjemahan BroadRouter: “transformasi yang setara”), supaya pembundaran kurang menjejaskannya sementara output lapisan kekal sama. Ini mengelakkan “hardware-inefficient mix-precision quantization” (Terjemahan BroadRouter: “kuantisasi ketepatan campuran yang tidak cekap untuk perkakasan”).
- Bundarkan semua pemberat kepada ketepatan rendah, biasanya integer 4-bit dengan satu skala bagi setiap kumpulan pemberat.
Kertas itu menegaskan bahawa “AWQ does not rely on any backpropagation or reconstruction” (Terjemahan BroadRouter: “AWQ tidak bergantung pada sebarang backpropagation atau pembinaan semula”), jadi ia “generalizes to different domains and modalities” (Terjemahan BroadRouter: “boleh digeneralisasikan kepada domain dan modaliti berbeza”) tanpa overfitting pada set kalibrasi. Ia memenangi Anugerah Kertas Terbaik MLSys 2024.
Dalam vLLM, checkpoint AWQ yang telah dikuantisasi dimuatkan dengan satu argumen:
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
Halaman vLLM menerangkan format itu sebagai mengurangkan pemberat “from BF16/FP16 to INT4” (Terjemahan BroadRouter: “daripada BF16/FP16 kepada INT4”) dan memberi amaran bahawa “The AutoAWQ library is deprecated” (Terjemahan BroadRouter: “Library AutoAWQ sudah deprecated”); model AWQ baharu dihasilkan dengan llm-compressor vLLM.
Mengapa ia penting
- Memori dan kos. Pemberat yang lebih kecil muat pada GPU yang lebih sedikit atau lebih murah dan meninggalkan lebih banyak memori untuk KV cache, bermakna lebih banyak permintaan serentak.
- Kelajuan. Decode membaca setiap pemberat bagi setiap token, jadi pemberat yang lebih kecil boleh bermakna output lebih pantas. Kertas itu melaporkan runtime TinyChat memberikan “more than 3x speedup over the Huggingface FP16 implementation” (Terjemahan BroadRouter: “kelajuan lebih 3x berbanding pelaksanaan Huggingface FP16”).
- Pemberat sama, hasil berbeza. Dua hos yang menyajikan “model yang sama” mungkin menggunakan kuantisasi berbeza. Tanya format yang disajikan oleh penyedia apabila anda membandingkan kualiti.
AWQ hanya untuk pemberat. Ia berbeza daripada FP8, yang boleh mengkuantisasi pengaktifan juga, dan daripada GGUF, format fail dengan jenis kuantisasi tersendiri untuk llama.cpp.
Di BroadNet Inference
BroadNet melaporkan bahawa ia menyajikan Gemma 4 VL 26B dengan pemberat AWQ 4-bit yang dikuantisasinya sendiri, bersama speculative decoding multi-token-prediction (k=2) dan KV cache fp8. Menurut halaman modelnya, ia menguji NVFP4 dan menghentikannya selepas perbandingan secara langsung. BroadNet juga melaporkan bahawa pemberat Gemma 4 yang sama yang disajikan oleh penyedia berhos mencatat skor purata 0.13 lebih rendah berbanding penyajiannya sendiri (BroadNet tidak menyatakan metrik atau skala yang digunakan); artikel armada GPU dan penyajian mengandungi butirannya. BroadNet tidak menerbitkan format kuantisasi model API lainnya. Jika anda bercadang menjalankan pemberat AWQ sendiri, panduan kos self-hosting vs API merangkumi kiraannya.