FP8 là định dạng số 8-bit mà phần lớn GPU mới hỗ trợ native. Đây thường là bước hạ đầu tiên từ 16-bit khi phục vụ một model lớn.
Cách hoạt động
Một số dấu phẩy động gồm bit dấu, phần số mũ và phần định trị. Bài báo FP8 của Micikevicius và cộng sự định nghĩa hai cách bố trí, mỗi cách có một bit dấu:
| Mã hóa | Bit số mũ | Bit định trị | Đánh đổi |
|---|---|---|---|
| E4M3 | 4 | 3 | Chính xác hơn; vLLM ghi giá trị tối đa ±448 |
| E5M2 | 5 | 2 | Kém chính xác hơn; vLLM ghi giá trị tối đa ±57.344 |
E5M2 theo quy tắc IEEE 754 cho các giá trị đặc biệt. E4M3 bỏ giá trị vô cực và chỉ giữ một mẫu NaN để mở rộng dải giá trị. Cả hai chỉ có 256 giá trị khả dĩ, nên một hệ số scale ánh xạ mỗi tensor vào dải mà định dạng bao phủ.
Khi làm đích cho lượng tử hóa, FP8 thường được áp dụng theo kiểu W8A8: cả trọng số và activation đều 8-bit, với hệ số scale theo tensor hoặc theo khối. Bài báo báo cáo FP8 đạt chất lượng huấn luyện ngang 16-bit trên các model tới 175B tham số. Bài cũng lưu ý lượng tử hóa sau huấn luyện bằng FP8 hoạt động tốt trên các model ngôn ngữ “that resisted fixed point int8 quantization” (Bản dịch: vốn khó lượng tử hóa bằng int8 dấu phẩy tĩnh), vì phần số mũ xử lý giá trị ngoại lai tốt hơn.
FP8 cũng xuất hiện bên trong các định dạng khác. Model card của DeepSeek V4.1 Flash cho biết KV cache chính được lưu bằng số dấu phẩy động 4-bit với “one E4M3 scale per 16 channels” (Bản dịch: một scale E4M3 cho mỗi 16 kênh).
Vì sao quan trọng
Tài liệu vLLM cho biết FP8 mang lại “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (Bản dịch: giảm 2 lần yêu cầu bộ nhớ của model và cải thiện throughput tới 1,6 lần với ảnh hưởng tối thiểu tới độ chính xác.) Với nhà cung cấp, điều đó nghĩa là model vừa với ít GPU hơn, hoặc cùng số GPU chứa được nhiều request hơn cùng lúc, giúp tăng throughput và giảm chi phí mỗi token.
Với người dùng API, FP8 là mức nhẹ nhàng của lượng tử hóa: vLLM báo cáo ảnh hưởng tới độ chính xác là tối thiểu, dù bạn vẫn nên test những tác vụ mình dựa vào. Đây là bước ít mạnh tay hơn INT4, vốn tiết kiệm bộ nhớ hơn nhưng rủi ro hơn ở tác vụ khó.
Trên BroadNet Inference
Danh mục model của BroadNet cho biết bản build Gemma 4 26B A4B đang chạy production lưu KV cache bằng FP8, với trọng số INT4 AWQ. Đó là mô tả của chính BroadNet; tài liệu API không nêu độ chính xác của các model khác. Nếu định dạng số chính xác quan trọng cho một cuộc kiểm toán hay một quy trình chịu quản lý, hãy hỏi trực tiếp BroadNet. Về những gì thực sự ảnh hưởng tới hóa đơn, xem giá mỗi token trên trang giá.