BroadRouter
开始使用

INT4(4-bit 量化)

更新于

INT4 是一种能表示 16 个等级的 4-bit 整数格式。在大模型推理中,它通常指 4-bit 仅权重量化(W4A16):权重以 INT4 加缩放因子存储,计算时再展开为 16-bit,显存占用约为 16-bit 权重的四分之一。

又称: INT4 量化、4-bit 量化、4 位量化、W4A16、4 位整数、INT4 仅权重量化、4-bit 大模型、INT4、4-bit quantization、4-bit integer、INT4 weight-only、4-bit LLM

到了 INT4,量化就变得激进了:每个权重只有 16 个可能的取值。

原理

TensorRT-LLM 的精度指南描述了最常见的形式 W4A16:权重量化为 4 bit,在矩阵乘法内部 “on-the-fly”(即时)反量化,激活值则保持 FP16 或 BF16。TensorRT-LLM 支持按组的缩放因子:每一小组权重有自己的缩放值,让 16 个等级覆盖合适的范围。vLLM 的 INT4 示例保存的是 W4A16-G128 检查点,即每 128 个权重为一组。

直接四舍五入到 16 个等级损失太大,所以流行的方法都更聪明:

  • GPTQ 利用近似的二阶信息来选择舍入方式,以限制输出误差。论文报告在每个权重 3 或 4 bit 时损失可以忽略,足以在单张 GPU 上运行 175B 模型。
  • AWQ 观察到 “not all weights in an LLM are equally important”(译文:LLM 中的权重并非同等重要)。根据激活统计找出约 1% 的显著通道并加以保护,就能大幅降低误差。它的 TinyChat 运行时报告,4-bit 模型在设备上提速超过 3 倍。

为什么重要

显存节省很可观。每个权重 0.5 字节,模型权重就只占 16-bit 大小的四分之一。以 25.2B 参数的模型为例:BF16 下是 25.2B × 2 字节 = 50.4 GB,INT4 下是 25.2B × 0.5 字节 = 12.6 GB,再加上一点缩放因子。生成速度往往受限于权重从显存读出的速度,所以 4-bit 权重也能降低延迟。vLLM 的文档说,INT4 W4A16 最适合 “in workloads with low queries per second”(译文:每秒查询数较低的负载)下保持低延迟。高负载时,反量化权重的开销更显著,收益会缩小。

只有 16 个等级,舍入误差比 FP8 大,这正是 GPTQ 和 AWQ 存在的原因。平均基准分数可能掩盖你关心的任务上的损失,比如长推理、精确计算、代码或较少见的语言。如果 INT4 版本在你自己的测试集上不如 16-bit 版本,请相信你的测试。

混合专家模型常被做成 INT4,因为虽然每个 token 只运行少数专家,但所有专家都必须装进显存。

在 BroadNet Inference 上

BroadNet 的模型目录说,其生产版 Gemma 4 26B A4B(API ID broadnet/gemma-4-26b-a4b)使用 AWQ 4-bit 权重,并采用多 token 预测和 FP8 KV 缓存。这是 BroadNet 自己的描述;API 文档没有说明其他模型的精度。如果你在自托管 4-bit 模型和调用 API 之间做选择,自托管成本对比和大模型 API 费用计算器可以帮你比较总成本。

常见问题

INT4 能省多少显存?

每个权重占半个字节而不是两个字节,所以约为 16-bit 大小的四分之一,再加上缩放因子的少量开销。一个 25.2B 参数的模型,权重从约 50.4 GB 降到约 12.6 GB。

INT4 和 NF4、FP4 一样吗?

不一样。三者都用 4 bit,但 NF4 和 FP4 的 16 个等级分布不均匀,而 INT4 是均匀分布的。Hugging Face 的 bitsandbytes 集成提供 FP4 和 NF4;GPTQ 和 AWQ 的检查点通常用 INT4。

INT4 会让模型变快吗?

低负载时通常会,因为生成速度受限于从显存读取权重,而 4-bit 权重更小。vLLM 的文档说,INT4 W4A16 在每秒查询数较低的负载下帮助最大;高负载时收益会缩小。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity