BroadRouter
Bắt đầu

INT4 (lượng tử hóa 4-bit)

Cập nhật

INT4 là định dạng số nguyên 4-bit biểu diễn được 16 mức. Trong inference LLM, nó thường chỉ lượng tử hóa 4-bit chỉ áp dụng cho trọng số (W4A16): trọng số được lưu ở INT4 kèm hệ số scale và giải nén về 16-bit khi tính toán, tốn khoảng một phần tư bộ nhớ so với trọng số 16-bit.

Còn gọi là: INT4 là gì, lượng tử hóa 4-bit, lượng tử hóa INT4, số nguyên 4-bit, LLM 4-bit, INT4, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4 là lúc lượng tử hóa trở nên mạnh tay: mỗi trọng số chỉ còn 16 giá trị có thể có.

Cách hoạt động

Hướng dẫn về độ chính xác của TensorRT-LLM mô tả dạng phổ biến, W4A16: trọng số được lượng tử hóa xuống 4 bit và giải lượng tử “on-the-fly” (ngay khi chạy) bên trong phép nhân ma trận, còn activation giữ ở FP16 hoặc BF16. TensorRT-LLM hỗ trợ hệ số scale theo nhóm: mỗi nhóm nhỏ trọng số có scale riêng để 16 mức phủ đúng khoảng giá trị. Ví dụ INT4 của vLLM lưu một checkpoint W4A16-G128, mỗi nhóm 128 trọng số.

Làm tròn đơn thuần về 16 mức mất quá nhiều thông tin, nên các phương pháp phổ biến làm việc này thông minh hơn:

  • GPTQ dùng thông tin bậc hai xấp xỉ để chọn cách làm tròn hạn chế sai số đầu ra. Bài báo báo cáo 3 hoặc 4 bit mỗi trọng số với mức suy giảm không đáng kể, đủ để chạy model 175B trên một GPU.
  • AWQ nhận thấy rằng “not all weights in an LLM are equally important.” (Bản dịch: không phải mọi trọng số trong LLM đều quan trọng như nhau.) Bảo vệ khoảng 1% kênh quan trọng, tìm ra từ thống kê activation, giúp giảm sai số đáng kể. Runtime TinyChat của AWQ báo cáo tốc độ tăng hơn 3 lần cho model 4-bit trên thiết bị.

Vì sao quan trọng

Mức tiết kiệm bộ nhớ rất lớn. Với 0.5 byte mỗi trọng số, trọng số của model chỉ còn một phần tư kích thước 16-bit. Với model 25.2B tham số: 25.2B × 2 byte = 50.4 GB ở BF16, so với 25.2B × 0.5 byte = 12.6 GB ở INT4, cộng thêm một chút cho hệ số scale. Tốc độ sinh thường bị giới hạn bởi tốc độ trọng số được đọc từ bộ nhớ, nên trọng số 4-bit cũng có thể giảm độ trễ. Tài liệu vLLM nói INT4 W4A16 hữu ích nhất để giữ độ trễ thấp “in workloads with low queries per second” (Bản dịch: trong các workload có ít truy vấn mỗi giây). Khi tải cao, chi phí giải lượng tử trọng số đáng kể hơn và lợi ích giảm đi.

Chỉ với 16 mức, sai số làm tròn lớn hơn so với FP8, và đó chính là lý do GPTQ và AWQ ra đời. Điểm benchmark trung bình có thể che giấu suy giảm ở những tác vụ bạn quan tâm, như suy luận dài, tính toán chính xác, code hoặc một ngôn ngữ ít phổ biến. Nếu bản INT4 kém hơn bản 16-bit trên bộ kiểm thử của chính bạn, hãy tin vào bài kiểm thử của bạn.

Các model mixture-of-experts thường là ứng viên cho INT4, vì mọi expert đều phải nằm trong bộ nhớ dù mỗi token chỉ chạy vài expert.

Trên BroadNet Inference

Danh mục model của BroadNet cho biết bản Gemma 4 26B A4B đang chạy production (API ID broadnet/gemma-4-26b-a4b) dùng trọng số AWQ 4-bit, cùng multi-token prediction và KV cache FP8. Đó là mô tả của chính BroadNet; tài liệu API không nêu độ chính xác của các model khác. Nếu bạn đang cân nhắc giữa tự host một model 4-bit và gọi API, bài so sánh chi phí tự host và công cụ tính chi phí API LLM giúp bạn so sánh tổng chi phí.

Câu hỏi thường gặp

INT4 tiết kiệm được bao nhiêu bộ nhớ?

Mỗi trọng số chiếm nửa byte thay vì hai byte, tức khoảng một phần tư kích thước 16-bit, cộng một chút cho hệ số scale. Một model 25.2B tham số giảm từ khoảng 50.4 GB xuống khoảng 12.6 GB trọng số.

INT4 có giống NF4 hay FP4 không?

Không. Cả ba đều dùng 4 bit, nhưng NF4 và FP4 đặt 16 mức không đều nhau, còn INT4 đặt các mức cách đều. Tích hợp bitsandbytes của Hugging Face cung cấp FP4 và NF4; checkpoint GPTQ và AWQ thường dùng INT4.

INT4 có làm model chạy nhanh hơn không?

Thường là có khi tải thấp, vì tốc độ sinh bị giới hạn bởi việc đọc trọng số từ bộ nhớ và trọng số 4-bit nhỏ hơn. Tài liệu vLLM nói INT4 W4A16 hữu ích nhất với workload có ít truy vấn mỗi giây; khi tải nặng, lợi ích giảm đi.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity