BroadRouter
Bắt đầu

FP8 (số thực dấu phẩy động 8-bit)

Cập nhật

FP8 là định dạng số dấu phẩy động 8-bit dùng trong deep learning, có hai cách mã hóa: E4M3 với 4 bit số mũ và 3 bit phần định trị, và E5M2 với 5 bit số mũ và 2 bit phần định trị. Nó dùng nửa bộ nhớ của định dạng 16-bit và chạy native trên GPU đời mới.

Còn gọi là: FP8 là gì, số dấu phẩy động 8-bit, lượng tử hóa FP8, E4M3, E5M2, W8A8 FP8, 8-bit floating point, FP8 quantization

FP8 là định dạng số 8-bit mà phần lớn GPU mới hỗ trợ native. Đây thường là bước hạ đầu tiên từ 16-bit khi phục vụ một model lớn.

Cách hoạt động

Một số dấu phẩy động gồm bit dấu, phần số mũ và phần định trị. Bài báo FP8 của Micikevicius và cộng sự định nghĩa hai cách bố trí, mỗi cách có một bit dấu:

Mã hóa Bit số mũ Bit định trị Đánh đổi
E4M3 4 3 Chính xác hơn; vLLM ghi giá trị tối đa ±448
E5M2 5 2 Kém chính xác hơn; vLLM ghi giá trị tối đa ±57.344

E5M2 theo quy tắc IEEE 754 cho các giá trị đặc biệt. E4M3 bỏ giá trị vô cực và chỉ giữ một mẫu NaN để mở rộng dải giá trị. Cả hai chỉ có 256 giá trị khả dĩ, nên một hệ số scale ánh xạ mỗi tensor vào dải mà định dạng bao phủ.

Khi làm đích cho lượng tử hóa, FP8 thường được áp dụng theo kiểu W8A8: cả trọng số và activation đều 8-bit, với hệ số scale theo tensor hoặc theo khối. Bài báo báo cáo FP8 đạt chất lượng huấn luyện ngang 16-bit trên các model tới 175B tham số. Bài cũng lưu ý lượng tử hóa sau huấn luyện bằng FP8 hoạt động tốt trên các model ngôn ngữ “that resisted fixed point int8 quantization” (Bản dịch: vốn khó lượng tử hóa bằng int8 dấu phẩy tĩnh), vì phần số mũ xử lý giá trị ngoại lai tốt hơn.

FP8 cũng xuất hiện bên trong các định dạng khác. Model card của DeepSeek V4.1 Flash cho biết KV cache chính được lưu bằng số dấu phẩy động 4-bit với “one E4M3 scale per 16 channels” (Bản dịch: một scale E4M3 cho mỗi 16 kênh).

Vì sao quan trọng

Tài liệu vLLM cho biết FP8 mang lại “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (Bản dịch: giảm 2 lần yêu cầu bộ nhớ của model và cải thiện throughput tới 1,6 lần với ảnh hưởng tối thiểu tới độ chính xác.) Với nhà cung cấp, điều đó nghĩa là model vừa với ít GPU hơn, hoặc cùng số GPU chứa được nhiều request hơn cùng lúc, giúp tăng throughput và giảm chi phí mỗi token.

Với người dùng API, FP8 là mức nhẹ nhàng của lượng tử hóa: vLLM báo cáo ảnh hưởng tới độ chính xác là tối thiểu, dù bạn vẫn nên test những tác vụ mình dựa vào. Đây là bước ít mạnh tay hơn INT4, vốn tiết kiệm bộ nhớ hơn nhưng rủi ro hơn ở tác vụ khó.

Trên BroadNet Inference

Danh mục model của BroadNet cho biết bản build Gemma 4 26B A4B đang chạy production lưu KV cache bằng FP8, với trọng số INT4 AWQ. Đó là mô tả của chính BroadNet; tài liệu API không nêu độ chính xác của các model khác. Nếu định dạng số chính xác quan trọng cho một cuộc kiểm toán hay một quy trình chịu quản lý, hãy hỏi trực tiếp BroadNet. Về những gì thực sự ảnh hưởng tới hóa đơn, xem giá mỗi token trên trang giá.

Câu hỏi thường gặp

FP8 có giống INT8 không?

Không. Cả hai dùng 8 bit, nhưng FP8 dành một số bit cho số mũ, nên bao phủ dải độ lớn rộng hơn với độ chính xác giữa các giá trị thấp hơn. INT8 chia đều 256 mức và phụ thuộc nhiều hơn vào hệ số scale tốt.

GPU nào hỗ trợ FP8?

Tài liệu vLLM liệt kê tính toán FP8 trên GPU NVIDIA có compute capability 8.9 trở lên (Ada Lovelace, Hopper, Blackwell) và AMD MI300x. Các card Turing và Ampere cũ hơn có thể nạp trọng số FP8 nhưng tính toán ở 16-bit.

FP8 khác INT4 thế nào?

FP8 dùng 8 bit có số mũ và thường áp dụng cho cả trọng số lẫn activation. INT4 dùng 16 mức số nguyên cách đều và thường chỉ áp dụng cho trọng số. INT4 tiết kiệm bộ nhớ hơn; FP8 ít rủi ro về độ chính xác hơn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity