BroadRouter
شروع کریں

AWQ (activation-aware weight quantization)

اپ ڈیٹ

AWQ (activation-aware weight quantization) ایک post-training طریقہ ہے جو LLM کے weights کو کم پریسیژن، عموماً 4-bit integers، میں دباتا ہے۔ یہ چھوٹے calibration سیٹ کے activation اعداد سے اہم ترین weight چینلز پہچان کر انہیں scale کرتا ہے، تاکہ ان کی درستی کم گھٹے۔ اسے backpropagation نہیں چاہیے۔

دوسرے نام: AWQ کوانٹائزیشن، awq kya hai، awq quantization kya hai، AWQ، activation-aware weight quantization، AWQ quantization

4-bit ماڈل اپنے 16-bit اصل کا تقریباً چوتھائی سائز ہوتا ہے۔ AWQ وہاں تک پہنچنے کے سب سے زیادہ استعمال ہونے والے طریقوں میں سے ایک ہے، زیادہ معیار کھوئے بغیر۔

یہ کیسے کام کرتا ہے

سادہ کوانٹائزیشن ہر weight کو چند گنی چنی قدروں پر راؤنڈ کرتی ہے۔ کچھ weights دوسروں سے زیادہ اہم ہیں، اور انہیں راؤنڈ کرنے سے سب سے زیادہ نقصان ہوتا ہے۔ AWQ پیپر کی مرکزی دریافت یہ ہے کہ “Protecting only 1% salient weights can greatly reduce quantization error” (ترجمہ: صرف 1% اہم weights کو بچانے سے کوانٹائزیشن ایرر کافی کم ہو سکتا ہے)، اور ان weights کو ڈھونڈنے کے لیے “we should refer to the activation distribution, not weights.” (ترجمہ: ہمیں weights نہیں، activation distribution دیکھنی چاہیے۔)

مختصر طور پر مراحل:

  1. full-precision ماڈل سے ایک چھوٹا calibration سیٹ گزاریں اور ہر چینل کے activation کا سائز درج کریں۔
  2. اہم weight چینلز کو اس چیز سے scale up کریں جسے پیپر “an equivalent transformation” (ترجمہ: ایک مساوی تبدیلی) کہتا ہے، تاکہ راؤنڈنگ کا ان پر کم اثر ہو اور لیئر کا آؤٹ پٹ وہی رہے۔ اس سے “hardware-inefficient mix-precision quantization” (ترجمہ: ہارڈویئر کے لیے غیر مؤثر ملی جلی پریسیژن کوانٹائزیشن) سے بچا جاتا ہے۔
  3. تمام weights کو کم پریسیژن پر راؤنڈ کریں، عموماً 4-bit integers، جن میں weights کے ہر گروپ کا ایک scale ہوتا ہے۔

پیپر زور دیتا ہے کہ “AWQ does not rely on any backpropagation or reconstruction” (ترجمہ: AWQ کسی backpropagation یا reconstruction پر انحصار نہیں کرتا)، اس لیے یہ calibration سیٹ پر overfit ہوئے بغیر “generalizes to different domains and modalities” (ترجمہ: مختلف ڈومینز اور modalities پر لاگو ہوتا ہے)۔ اسے MLSys 2024 Best Paper Award ملا۔

vLLM میں پہلے سے کوانٹائز کیا گیا AWQ checkpoint ایک آرگیومنٹ سے لوڈ ہوتا ہے:

from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")

vLLM کا صفحہ اس فارمیٹ کو weights کو “from BF16/FP16 to INT4” (ترجمہ: BF16/FP16 سے INT4 تک) گھٹانے والا بتاتا ہے اور خبردار کرتا ہے کہ “The AutoAWQ library is deprecated” (ترجمہ: AutoAWQ لائبریری deprecated ہے)؛ نئے AWQ ماڈل vLLM کے llm-compressor سے بنتے ہیں۔

یہ کیوں اہم ہے

  • میموری اور لاگت۔ چھوٹے weights کم یا سستے GPUs پر سما جاتے ہیں اور KV cache کے لیے زیادہ میموری چھوڑتے ہیں، یعنی ایک ساتھ زیادہ درخواستیں۔
  • رفتار۔ decode ہر ٹوکن کے لیے ہر weight پڑھتا ہے، اس لیے چھوٹے weights کا مطلب تیز آؤٹ پٹ ہو سکتا ہے۔ پیپر بتاتا ہے کہ اس کا TinyChat runtime “more than 3x speedup over the Huggingface FP16 implementation” (ترجمہ: Huggingface FP16 implementation سے 3 گنا سے زیادہ تیزی) دیتا ہے۔
  • وہی weights، مختلف نتائج۔ “ایک ہی ماڈل” چلانے والے دو ہوسٹ مختلف کوانٹائزیشن استعمال کر سکتے ہیں۔ معیار کا موازنہ کرتے وقت فراہم کنندہ سے پوچھیں کہ وہ کون سا فارمیٹ سرو کرتا ہے۔

AWQ صرف weights پر کام کرتا ہے۔ یہ FP8 سے مختلف ہے، جو activations کو بھی کوانٹائز کر سکتا ہے، اور GGUF سے بھی، جو llama.cpp کے لیے اپنی quant types والا ایک فائل فارمیٹ ہے۔

BroadNet Inference پر

BroadNet بتاتا ہے کہ وہ Gemma 4 VL 26B کو خود کوانٹائز کیے گئے 4-bit AWQ weights کے ساتھ سرو کرتا ہے، ساتھ میں multi-token-prediction speculative decoding (k=2) اور fp8 KV cache۔ اس کے ماڈل صفحے کے مطابق اس نے NVFP4 آزمایا اور براہ راست موازنے کے بعد اسے ہٹا دیا۔ BroadNet یہ بھی بتاتا ہے کہ ایک hosted فراہم کنندہ پر سرو کیے گئے وہی Gemma 4 weights اس کی اپنی سرونگ سے اوسطاً 0.13 کم اسکور کرتے تھے (BroadNet یہ نہیں بتاتا کہ کس میٹرک یا پیمانے پر)؛ تفصیل GPU فلیٹ اور سرونگ پوسٹ میں ہے۔ BroadNet اپنے دوسرے API ماڈلز کا کوانٹائزیشن فارمیٹ شائع نہیں کرتا۔ اگر آپ خود AWQ weights چلانا چاہتے ہیں تو سیلف ہوسٹنگ بمقابلہ API لاگت گائیڈ حساب سمجھاتی ہے۔

عام سوالات

کیا AWQ اور INT4 ایک ہی ہیں؟

AWQ ایک طریقہ ہے؛ INT4 ایک عددی فارمیٹ۔ AWQ عموماً 4-bit integer weights بناتا ہے، اس لیے AWQ ماڈل ایک قسم کا INT4 ماڈل ہے۔ GPTQ یا GGUF کی quant types جیسے دوسرے طریقے بھی 4-bit weights بنا سکتے ہیں۔

کیا AWQ سے معیار گھٹتا ہے؟

کوئی بھی low-bit کوانٹائزیشن گھٹا سکتی ہے۔ AWQ پیپر بتاتا ہے کہ تقریباً 1% اہم (salient) weights کو بچانے سے کوانٹائزیشن ایرر کافی کم ہوتا ہے، لیکن کوانٹائزڈ ماڈل کو اپنے پرامپٹس پر آزمانا چاہیے۔

کیا میں vLLM میں AWQ ماڈل چلا سکتا ہوں؟

ہاں۔ vLLM کی دستاویزات پہلے سے کوانٹائز کیا گیا AWQ checkpoint لوڈ کرنا دکھاتی ہیں۔ وہ یہ بھی بتاتی ہیں کہ AutoAWQ لائبریری deprecated ہے، اور نئے AWQ ماڈل بنانے کے لیے vLLM کے llm-compressor پروجیکٹ کی طرف اشارہ کرتی ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں