INT4 là lúc lượng tử hóa trở nên mạnh tay: mỗi trọng số chỉ còn 16 giá trị có thể có.
Cách hoạt động
Hướng dẫn về độ chính xác của TensorRT-LLM mô tả dạng phổ biến, W4A16: trọng số được lượng tử hóa xuống 4 bit và giải lượng tử “on-the-fly” (ngay khi chạy) bên trong phép nhân ma trận, còn activation giữ ở FP16 hoặc BF16. TensorRT-LLM hỗ trợ hệ số scale theo nhóm: mỗi nhóm nhỏ trọng số có scale riêng để 16 mức phủ đúng khoảng giá trị. Ví dụ INT4 của vLLM lưu một checkpoint W4A16-G128, mỗi nhóm 128 trọng số.
Làm tròn đơn thuần về 16 mức mất quá nhiều thông tin, nên các phương pháp phổ biến làm việc này thông minh hơn:
- GPTQ dùng thông tin bậc hai xấp xỉ để chọn cách làm tròn hạn chế sai số đầu ra. Bài báo báo cáo 3 hoặc 4 bit mỗi trọng số với mức suy giảm không đáng kể, đủ để chạy model 175B trên một GPU.
- AWQ nhận thấy rằng “not all weights in an LLM are equally important.” (Bản dịch: không phải mọi trọng số trong LLM đều quan trọng như nhau.) Bảo vệ khoảng 1% kênh quan trọng, tìm ra từ thống kê activation, giúp giảm sai số đáng kể. Runtime TinyChat của AWQ báo cáo tốc độ tăng hơn 3 lần cho model 4-bit trên thiết bị.
Vì sao quan trọng
Mức tiết kiệm bộ nhớ rất lớn. Với 0.5 byte mỗi trọng số, trọng số của model chỉ còn một phần tư kích thước 16-bit. Với model 25.2B tham số: 25.2B × 2 byte = 50.4 GB ở BF16, so với 25.2B × 0.5 byte = 12.6 GB ở INT4, cộng thêm một chút cho hệ số scale. Tốc độ sinh thường bị giới hạn bởi tốc độ trọng số được đọc từ bộ nhớ, nên trọng số 4-bit cũng có thể giảm độ trễ. Tài liệu vLLM nói INT4 W4A16 hữu ích nhất để giữ độ trễ thấp “in workloads with low queries per second” (Bản dịch: trong các workload có ít truy vấn mỗi giây). Khi tải cao, chi phí giải lượng tử trọng số đáng kể hơn và lợi ích giảm đi.
Chỉ với 16 mức, sai số làm tròn lớn hơn so với FP8, và đó chính là lý do GPTQ và AWQ ra đời. Điểm benchmark trung bình có thể che giấu suy giảm ở những tác vụ bạn quan tâm, như suy luận dài, tính toán chính xác, code hoặc một ngôn ngữ ít phổ biến. Nếu bản INT4 kém hơn bản 16-bit trên bộ kiểm thử của chính bạn, hãy tin vào bài kiểm thử của bạn.
Các model mixture-of-experts thường là ứng viên cho INT4, vì mọi expert đều phải nằm trong bộ nhớ dù mỗi token chỉ chạy vài expert.
Trên BroadNet Inference
Danh mục model của BroadNet cho biết bản Gemma 4 26B A4B đang chạy production (API ID broadnet/gemma-4-26b-a4b) dùng trọng số AWQ 4-bit, cùng multi-token prediction và KV cache FP8. Đó là mô tả của chính BroadNet; tài liệu API không nêu độ chính xác của các model khác. Nếu bạn đang cân nhắc giữa tự host một model 4-bit và gọi API, bài so sánh chi phí tự host và công cụ tính chi phí API LLM giúp bạn so sánh tổng chi phí.