FP8 是大多数新款 GPU 原生支持的 8 位数字格式。部署大模型时,它往往是从 16 位往下降的第一步。
工作原理
浮点数由符号位、指数和尾数组成。Micikevicius 等人的 FP8 论文定义了两种布局,每种都有一个符号位:
| 编码 | 指数位 | 尾数位 | 取舍 |
|---|---|---|---|
| E4M3 | 4 | 3 | 精度更高;vLLM 列出的最大值为 ±448 |
| E5M2 | 5 | 2 | 精度更低;vLLM 列出的最大值为 ±57,344 |
E5M2 在特殊值上遵循 IEEE 754 规则。E4M3 放弃了无穷大,只保留一种 NaN 编码,以扩展数值范围。两者都只有 256 个可能的值,因此要用缩放因子把每个张量映射到格式能覆盖的范围内。
作为量化目标,FP8 通常以 W8A8 的形式应用:权重和激活值都用 8 位,并按张量或按块设置缩放因子。论文报告,在最高 175B 参数的模型上,FP8 训练的质量与 16 位相当。论文还指出,FP8 训练后量化适用于 “that resisted fixed point int8 quantization”(译文:难以用定点 int8 量化)的语言模型,因为指数能更好地应对离群值。
FP8 也出现在其他格式内部。DeepSeek V4.1 Flash 的 DeepSeek 模型卡说明,其主 KV 缓存以 4 位浮点存储,并带有 “one E4M3 scale per 16 channels”(译文:每 16 个通道一个 E4M3 缩放因子)。
为什么重要
vLLM 的文档称,FP8 带来 “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.”(译文:模型显存需求降低一半,吞吐量最多提升 1.6 倍,对准确率的影响极小。)对服务商来说,这意味着一个模型可以放进更少的 GPU,或者同样的 GPU 能同时处理更多请求,从而提高吞吐量、降低每 token 成本。
对 API 用户来说,FP8 属于温和的量化:vLLM 报告其对准确率影响极小,但你仍应测试自己依赖的任务。它比 INT4 保守,INT4 更省显存,但在困难任务上风险更大。
在 BroadNet Inference 上
BroadNet 的模型目录说,其生产环境的 Gemma 4 26B A4B 版本用 FP8 存储 KV 缓存,权重为 INT4 AWQ。这是 BroadNet 自己的描述;API 文档没有说明其他模型的精度。如果审计或受监管的流程要求知道确切的数字格式,请直接询问 BroadNet。至于真正影响你账单的因素,请查看价格页面上的每 token 价格。