BroadRouter
开始使用

FP8(8 位浮点数)

更新于

FP8 是深度学习中使用的 8 位浮点数格式,有两种编码:E4M3(4 位指数、3 位尾数)和 E5M2(5 位指数、2 位尾数)。与 16 位格式相比,它的显存占用减半,并在较新的 GPU 上原生运行。

又称: 8 位浮点、FP8 量化、FP8 精度、E4M3、E5M2、W8A8 FP8、FP8、8-bit floating point、FP8 quantization

FP8 是大多数新款 GPU 原生支持的 8 位数字格式。部署大模型时,它往往是从 16 位往下降的第一步。

工作原理

浮点数由符号位、指数和尾数组成。Micikevicius 等人的 FP8 论文定义了两种布局,每种都有一个符号位:

编码 指数位 尾数位 取舍
E4M3 4 3 精度更高;vLLM 列出的最大值为 ±448
E5M2 5 2 精度更低;vLLM 列出的最大值为 ±57,344

E5M2 在特殊值上遵循 IEEE 754 规则。E4M3 放弃了无穷大,只保留一种 NaN 编码,以扩展数值范围。两者都只有 256 个可能的值,因此要用缩放因子把每个张量映射到格式能覆盖的范围内。

作为量化目标,FP8 通常以 W8A8 的形式应用:权重和激活值都用 8 位,并按张量或按块设置缩放因子。论文报告,在最高 175B 参数的模型上,FP8 训练的质量与 16 位相当。论文还指出,FP8 训练后量化适用于 “that resisted fixed point int8 quantization”(译文:难以用定点 int8 量化)的语言模型,因为指数能更好地应对离群值。

FP8 也出现在其他格式内部。DeepSeek V4.1 Flash 的 DeepSeek 模型卡说明,其主 KV 缓存以 4 位浮点存储,并带有 “one E4M3 scale per 16 channels”(译文:每 16 个通道一个 E4M3 缩放因子)。

为什么重要

vLLM 的文档称,FP8 带来 “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.”(译文:模型显存需求降低一半,吞吐量最多提升 1.6 倍,对准确率的影响极小。)对服务商来说,这意味着一个模型可以放进更少的 GPU,或者同样的 GPU 能同时处理更多请求,从而提高吞吐量、降低每 token 成本。

对 API 用户来说,FP8 属于温和的量化:vLLM 报告其对准确率影响极小,但你仍应测试自己依赖的任务。它比 INT4 保守,INT4 更省显存,但在困难任务上风险更大。

在 BroadNet Inference 上

BroadNet 的模型目录说,其生产环境的 Gemma 4 26B A4B 版本用 FP8 存储 KV 缓存,权重为 INT4 AWQ。这是 BroadNet 自己的描述;API 文档没有说明其他模型的精度。如果审计或受监管的流程要求知道确切的数字格式,请直接询问 BroadNet。至于真正影响你账单的因素,请查看价格页面上的每 token 价格。

常见问题

FP8 和 INT8 是一回事吗?

不是。两者都用 8 位,但 FP8 把一部分位用于指数,因此能覆盖更大的数值范围,代价是相邻数值之间的精度更低。INT8 把 256 个级别均匀分布,更依赖合适的缩放因子。

哪些 GPU 支持 FP8?

vLLM 的文档列出,计算能力 8.9 及以上的 NVIDIA GPU(Ada Lovelace、Hopper、Blackwell)和 AMD MI300x 支持 FP8 计算。较旧的 Turing 和 Ampere 显卡可以加载 FP8 权重,但以 16 位进行计算。

FP8 和 INT4 有什么不同?

FP8 使用带指数的 8 位,通常同时用于权重和激活值。INT4 使用 16 个均匀分布的整数级别,通常只用于权重。INT4 更省显存;FP8 的精度风险更小。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity