BroadRouter

AWQ (activation-aware weight quantization)

अपडेट किया गया

AWQ (activation-aware weight quantization) एक post-training तरीक़ा है जो LLM के weights को कम प्रिसिज़न, आम तौर पर 4-bit integers, में दबाता है। यह छोटे calibration सेट के activation आँकड़ों से सबसे अहम weight चैनल पहचानता है और उन्हें scale करता है, ताकि उनकी सटीकता कम घटे। इसे backpropagation की ज़रूरत नहीं।

अन्य नाम: AWQ क्वांटाइज़ेशन, awq kya hai, awq quantization kya hai, AWQ, activation-aware weight quantization, AWQ quantization

4-bit मॉडल अपने 16-bit मूल का लगभग चौथाई आकार होता है। AWQ वहाँ तक पहुँचने के सबसे ज़्यादा इस्तेमाल होने वाले तरीक़ों में से एक है, बिना ज़्यादा क्वालिटी खोए।

यह कैसे काम करता है

सादा क्वांटाइज़ेशन हर weight को कुछ गिने-चुने मानों पर राउंड करता है। कुछ weights दूसरों से ज़्यादा अहम हैं, और उन्हें राउंड करने से सबसे ज़्यादा नुक़सान होता है। AWQ पेपर की मुख्य खोज है कि “Protecting only 1% salient weights can greatly reduce quantization error” (अनुवाद: सिर्फ़ 1% अहम weights को बचाने से क्वांटाइज़ेशन एरर काफ़ी कम हो सकता है), और उन weights को खोजने के लिए “we should refer to the activation distribution, not weights.” (अनुवाद: हमें weights नहीं, activation distribution देखना चाहिए।)

मोटे तौर पर चरण:

  1. full-precision मॉडल से एक छोटा calibration सेट चलाएँ और हर चैनल के activation का आकार दर्ज करें।
  2. अहम weight चैनलों को उस चीज़ से scale up करें जिसे पेपर “an equivalent transformation” (अनुवाद: एक समतुल्य रूपांतरण) कहता है, ताकि राउंडिंग उन पर कम असर डाले और लेयर का आउटपुट वही रहे। इससे “hardware-inefficient mix-precision quantization” (अनुवाद: हार्डवेयर के लिए अकुशल मिश्रित-प्रिसिज़न क्वांटाइज़ेशन) से बचा जाता है।
  3. सभी weights को कम प्रिसिज़न पर राउंड करें, आम तौर पर 4-bit integers, जिसमें weights के हर ग्रुप का एक scale होता है।

पेपर ज़ोर देता है कि “AWQ does not rely on any backpropagation or reconstruction” (अनुवाद: AWQ किसी backpropagation या reconstruction पर निर्भर नहीं), इसलिए यह calibration सेट पर overfit हुए बिना “generalizes to different domains and modalities” (अनुवाद: अलग-अलग डोमेन और modalities पर लागू होता है)। इसे MLSys 2024 Best Paper Award मिला।

vLLM में पहले से क्वांटाइज़ किया गया AWQ checkpoint एक आर्ग्युमेंट से लोड होता है:

from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")

vLLM का पेज इस फ़ॉर्मैट को weights को “from BF16/FP16 to INT4” (अनुवाद: BF16/FP16 से INT4 तक) घटाने वाला बताता है और चेतावनी देता है कि “The AutoAWQ library is deprecated” (अनुवाद: AutoAWQ लाइब्रेरी deprecated है); नए AWQ मॉडल vLLM के llm-compressor से बनते हैं।

यह क्यों मायने रखता है

  • मेमोरी और लागत। छोटे weights कम या सस्ते GPU पर समा जाते हैं और KV cache के लिए ज़्यादा मेमोरी छोड़ते हैं, यानी एक साथ ज़्यादा अनुरोध।
  • रफ़्तार। decode हर टोकन के लिए हर weight पढ़ता है, इसलिए छोटे weights का मतलब तेज़ आउटपुट हो सकता है। पेपर बताता है कि उसका TinyChat runtime “more than 3x speedup over the Huggingface FP16 implementation” (अनुवाद: Huggingface FP16 implementation से 3 गुना से ज़्यादा तेज़ी) देता है।
  • वही weights, अलग नतीजे। “एक ही मॉडल” चलाने वाले दो होस्ट अलग क्वांटाइज़ेशन इस्तेमाल कर सकते हैं। क्वालिटी की तुलना करते समय प्रोवाइडर से पूछें कि वह कौन-सा फ़ॉर्मैट सर्व करता है।

AWQ सिर्फ़ weights पर काम करता है। यह FP8 से अलग है, जो activations को भी क्वांटाइज़ कर सकता है, और GGUF से भी, जो llama.cpp के लिए अपने quant types वाला एक फ़ाइल फ़ॉर्मैट है।

BroadNet Inference पर

BroadNet बताता है कि वह Gemma 4 VL 26B को ख़ुद क्वांटाइज़ किए 4-bit AWQ weights के साथ सर्व करता है, साथ में multi-token-prediction speculative decoding (k=2) और fp8 KV cache। उसके मॉडल पेज के मुताबिक़, उसने NVFP4 टेस्ट किया और सीधी तुलना के बाद उसे हटा दिया। BroadNet यह भी बताता है कि किसी hosted प्रोवाइडर पर सर्व किए गए वही Gemma 4 weights उसकी अपनी सर्विंग से औसतन 0.13 कम स्कोर करते थे (BroadNet यह नहीं बताता कि किस मेट्रिक या पैमाने पर); विवरण GPU फ़्लीट और सर्विंग पोस्ट में है। BroadNet अपने दूसरे API मॉडल का क्वांटाइज़ेशन फ़ॉर्मैट प्रकाशित नहीं करता। अगर आप ख़ुद AWQ weights चलाना चाहते हैं, तो सेल्फ़-होस्टिंग बनाम API लागत गाइड हिसाब समझाती है।

अक्सर पूछे जाने वाले सवाल

क्या AWQ और INT4 एक ही हैं?

AWQ एक तरीक़ा है; INT4 एक संख्या फ़ॉर्मैट। AWQ आम तौर पर 4-bit integer weights बनाता है, इसलिए AWQ मॉडल एक तरह का INT4 मॉडल है। GPTQ या GGUF के quant types जैसे दूसरे तरीक़े भी 4-bit weights बना सकते हैं।

क्या AWQ से क्वालिटी घटती है?

कोई भी low-bit क्वांटाइज़ेशन घटा सकता है। AWQ पेपर बताता है कि लगभग 1% अहम (salient) weights को बचाने से क्वांटाइज़ेशन एरर काफ़ी कम होता है, लेकिन क्वांटाइज़्ड मॉडल को अपने प्रॉम्प्ट पर टेस्ट करना चाहिए।

क्या मैं vLLM में AWQ मॉडल चला सकता हूँ?

हाँ। vLLM के डॉक्स पहले से क्वांटाइज़ किया गया AWQ checkpoint लोड करना दिखाते हैं। वे यह भी बताते हैं कि AutoAWQ लाइब्रेरी deprecated है, और नए AWQ मॉडल बनाने के लिए vLLM के llm-compressor प्रोजेक्ट की ओर इशारा करते हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें