BroadRouter
Bắt đầu

AWQ (activation-aware weight quantization)

Cập nhật

AWQ (activation-aware weight quantization) là phương pháp lượng tử hóa sau huấn luyện, nén trọng số LLM xuống độ chính xác thấp, thường là số nguyên 4-bit. Nó dùng thống kê activation từ một tập hiệu chuẩn nhỏ để tìm kênh trọng số quan trọng nhất và scale chúng để bớt mất độ chính xác, không cần lan truyền ngược.

Còn gọi là: lượng tử hóa AWQ, model AWQ, AWQ 4-bit, AWQ, activation-aware weight quantization, AWQ quantization

Một model 4-bit có kích thước khoảng một phần tư bản gốc 16-bit. AWQ là một trong những cách được dùng nhiều nhất để đạt được điều đó mà không mất nhiều chất lượng.

Cách hoạt động

Lượng tử hóa thông thường làm tròn mọi trọng số về một tập nhỏ giá trị. Nhưng có những trọng số quan trọng hơn, và làm tròn chúng gây hại nhiều nhất. Phát hiện chính của bài báo AWQ là “Protecting only 1% salient weights can greatly reduce quantization error” (Bản dịch: Chỉ cần bảo vệ 1% trọng số nổi bật là có thể giảm mạnh sai số lượng tử hóa), và để tìm những trọng số đó, “we should refer to the activation distribution, not weights.” (Bản dịch: chúng ta nên dựa vào phân phối activation, không phải trọng số.)

Các bước, tóm tắt:

  1. Chạy một tập hiệu chuẩn nhỏ qua model độ chính xác đầy đủ và ghi lại độ lớn activation theo từng kênh.
  2. Scale lớn các kênh trọng số quan trọng bằng thứ mà bài báo gọi là “an equivalent transformation” (Bản dịch: một phép biến đổi tương đương), để việc làm tròn ít ảnh hưởng tới chúng trong khi đầu ra của layer vẫn giữ nguyên. Cách này tránh được “hardware-inefficient mix-precision quantization” (Bản dịch: lượng tử hóa độ chính xác hỗn hợp kém hiệu quả về phần cứng).
  3. Làm tròn mọi trọng số về độ chính xác thấp, thường là số nguyên 4-bit với một hệ số scale cho mỗi nhóm trọng số.

Bài báo nhấn mạnh rằng “AWQ does not rely on any backpropagation or reconstruction” (Bản dịch: AWQ không dựa vào lan truyền ngược hay tái tạo), nên nó “generalizes to different domains and modalities” (Bản dịch: tổng quát hóa được sang các miền và modality khác nhau) mà không overfit tập hiệu chuẩn. Bài báo này đoạt giải Best Paper tại MLSys 2024.

Trong vLLM, một checkpoint AWQ đã lượng tử hóa sẵn được nạp chỉ với một tham số:

from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")

Trang của vLLM mô tả định dạng này giảm trọng số “from BF16/FP16 to INT4” (Bản dịch: từ BF16/FP16 xuống INT4) và cảnh báo rằng “The AutoAWQ library is deprecated” (Bản dịch: Thư viện AutoAWQ đã deprecated); model AWQ mới được tạo bằng llm-compressor của vLLM.

Vì sao quan trọng

  • Bộ nhớ và chi phí. Trọng số nhỏ hơn vừa với ít GPU hơn hoặc GPU rẻ hơn, và chừa thêm bộ nhớ cho KV cache, nghĩa là xử lý được nhiều request cùng lúc hơn.
  • Tốc độ. Giai đoạn decode đọc mọi trọng số cho mỗi token, nên trọng số nhỏ hơn có thể cho đầu ra nhanh hơn. Bài báo cho biết runtime TinyChat của họ đạt “more than 3x speedup over the Huggingface FP16 implementation” (Bản dịch: tăng tốc hơn 3 lần so với bản triển khai FP16 của Huggingface).
  • Cùng trọng số, khác kết quả. Hai nơi phục vụ “cùng một model” có thể dùng cách lượng tử hóa khác nhau. Khi so sánh chất lượng, hãy hỏi nhà cung cấp họ phục vụ định dạng nào.

AWQ chỉ lượng tử hóa trọng số. Nó khác FP8, vốn có thể lượng tử hóa cả activation, và khác GGUF, một định dạng file có các kiểu lượng tử riêng cho llama.cpp.

Trên BroadNet Inference

BroadNet cho biết họ phục vụ Gemma 4 VL 26B với trọng số AWQ 4-bit do chính họ lượng tử hóa, kèm speculative decoding bằng dự đoán nhiều token (k=2) và KV cache fp8. Theo trang model, họ đã thử NVFP4 và loại bỏ nó sau một lần so sánh trực tiếp. BroadNet cũng cho biết cùng trọng số Gemma 4 khi được một nhà cung cấp hosting khác phục vụ có điểm trung bình thấp hơn 0,13 so với cách phục vụ của chính họ (BroadNet không nói theo chỉ số hay thang đo nào); bài viết về đội GPU và cách phục vụ có chi tiết. BroadNet không công bố định dạng lượng tử hóa của các model API khác. Nếu bạn định tự chạy trọng số AWQ, hướng dẫn so sánh chi phí tự host và API trình bày cách tính.

Câu hỏi thường gặp

AWQ có giống INT4 không?

AWQ là một phương pháp; INT4 là một định dạng số. AWQ thường tạo ra trọng số số nguyên 4-bit, nên một model AWQ là một loại model INT4. Các phương pháp khác, như GPTQ hay các kiểu lượng tử GGUF, cũng có thể tạo ra trọng số 4-bit.

AWQ có làm giảm chất lượng không?

Mọi kiểu lượng tử hóa bit thấp đều có thể. Bài báo AWQ cho biết bảo vệ khoảng 1% trọng số quan trọng giúp giảm mạnh sai số lượng tử hóa, nhưng bạn vẫn nên thử model đã lượng tử hóa trên prompt của chính mình.

Có chạy được model AWQ trên vLLM không?

Có. Tài liệu vLLM hướng dẫn nạp một checkpoint AWQ đã lượng tử hóa sẵn. Tài liệu cũng ghi rằng thư viện AutoAWQ đã deprecated và chỉ sang dự án llm-compressor của vLLM để tạo model AWQ mới.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity