4 ビットのモデルは、元の 16 ビット版のおよそ 4 分の 1 の大きさです。AWQ は、品質をあまり落とさずにそこまで小さくする方法として最もよく使われているものの一つです。
しくみ
単純な量子化は、すべての重みを少数の値に丸めます。重みの中には重要度の高いものがあり、それを丸めると最も大きな損失になります。AWQ 論文の中心的な発見は、“Protecting only 1% salient weights can greatly reduce quantization error”(訳:重要な重みのわずか 1% を守るだけで、量子化誤差を大きく減らせる)ということ、そしてその重みを見つけるには “we should refer to the activation distribution, not weights.”(訳:重みではなく、活性化の分布を参照すべきだ)ということです。
手順の概要です。
- 小さなキャリブレーションセットをフル精度のモデルに通し、チャネルごとの活性化の大きさを記録します。
- 論文が “an equivalent transformation”(訳:等価な変換)と呼ぶ方法で重要な重みのチャネルを拡大し、層の出力は変えずに、丸めによる損失を小さくします。これにより “hardware-inefficient mix-precision quantization”(訳:ハードウェア効率の悪い混合精度の量子化)を避けられます。
- すべての重みを低精度に丸めます。一般的には 4 ビット整数で、重みのグループごとにスケールを持ちます。
論文は “AWQ does not rely on any backpropagation or reconstruction”(訳:AWQ は誤差逆伝播や再構成にまったく依存しない)と強調しており、そのためキャリブレーションセットに過学習せず、“generalizes to different domains and modalities”(訳:異なるドメインやモダリティにも汎化する)としています。MLSys 2024 の最優秀論文賞を受賞しました。
vLLM では、量子化済みの AWQ チェックポイントを引数 1 つで読み込めます。
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
vLLM のページはこの形式を、重みを “from BF16/FP16 to INT4”(訳:BF16/FP16 から INT4 に)減らすものと説明し、“The AutoAWQ library is deprecated”(訳:AutoAWQ ライブラリは非推奨)と注意しています。新しい AWQ モデルは vLLM の llm-compressor で作ります。
なぜ重要か
- メモリとコスト。 重みが小さければ、より少ない、あるいはより安い GPU に収まり、KV キャッシュに回せるメモリが増えます。つまり同時に処理できるリクエストが増えます。
- 速度。 デコードではトークンごとにすべての重みを読むので、重みが小さいほど出力が速くなることがあります。論文は、TinyChat ランタイムが Huggingface の FP16 実装に対して “more than 3x speedup”(訳:3 倍以上の高速化)になったと報告しています。
- 同じ重みでも結果は違う。 2 つの事業者が提供する「同じモデル」でも、量子化が異なることがあります。品質を比べるときは、どの形式で提供しているかを事業者に確認してください。
AWQ は重みだけを量子化します。活性化も量子化できる FP8 とも、llama.cpp 向けに独自の量子化タイプを持つファイル形式である GGUF とも異なります。
BroadNet Inference の場合
BroadNet は、Gemma 4 VL 26B を自社で量子化した 4 ビットの AWQ 重みで提供しており、マルチトークン予測による投機的デコーディング(k=2)と fp8 の KV キャッシュを組み合わせていると報告しています。モデルページによると、NVFP4 もテストしましたが、直接比較の結果、採用をやめました。BroadNet はまた、同じ Gemma 4 の重みをホスティング事業者が提供した場合、自社のサービングより平均で 0.13 低いスコアだったと報告しています(どの指標・尺度での値かは示していません)。詳しくは GPU フリートとサービングの記事を参照してください。BroadNet は、ほかの API モデルの量子化形式を公開していません。AWQ の重みを自分で動かす予定なら、セルフホストと API のコスト比較ガイドで計算方法を解説しています。