---
title: "什么是 INT4 量化？大模型 4-bit 权重详解 | BroadRouter"
description: "INT4 把大模型的每个权重存成 4-bit 整数，只占 16-bit 的四分之一。4-bit 仅权重量化、GPTQ 和 AWQ 的原理，以及质量风险。"
url: https://broadrouter.com/zh/glossary/int4/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/int4/) (2026-11-16 更新).

# INT4（4-bit 量化）

更新于 2026-11-16

INT4 是一种能表示 16 个等级的 4-bit 整数格式。在大模型推理中，它通常指 4-bit 仅权重量化（W4A16）：权重以 INT4 加缩放因子存储，计算时再展开为 16-bit，显存占用约为 16-bit 权重的四分之一。

又称： INT4 量化、4-bit 量化、4 位量化、W4A16、4 位整数、INT4 仅权重量化、4-bit 大模型、INT4、4-bit quantization、4-bit integer、INT4 weight-only、4-bit LLM

到了 INT4，量化就变得激进了：每个权重只有 16 个可能的取值。

## 原理

TensorRT-LLM 的精度指南描述了最常见的形式 **W4A16**：权重量化为 4 bit，在矩阵乘法内部 “on-the-fly”（即时）反量化，激活值则保持 FP16 或 BF16。TensorRT-LLM 支持按组的缩放因子：每一小组权重有自己的缩放值，让 16 个等级覆盖合适的范围。vLLM 的 INT4 示例保存的是 `W4A16-G128` 检查点，即每 128 个权重为一组。

直接四舍五入到 16 个等级损失太大，所以流行的方法都更聪明：

-   **GPTQ** 利用近似的二阶信息来选择舍入方式，以限制输出误差。论文报告在每个权重 3 或 4 bit 时损失可以忽略，足以在单张 GPU 上运行 175B 模型。
-   **AWQ** 观察到 “not all weights in an LLM are equally important”（译文：LLM 中的权重并非同等重要）。根据激活统计找出约 1% 的显著通道并加以保护，就能大幅降低误差。它的 TinyChat 运行时报告，4-bit 模型在设备上提速超过 3 倍。

## 为什么重要

显存节省很可观。每个权重 0.5 字节，模型权重就只占 16-bit 大小的四分之一。以 25.2B 参数的模型为例：BF16 下是 25.2B × 2 字节 = 50.4 GB，INT4 下是 25.2B × 0.5 字节 = 12.6 GB，再加上一点缩放因子。生成速度往往受限于权重从显存读出的速度，所以 4-bit 权重也能降低[延迟](https://broadrouter.com/zh/glossary/latency/)。vLLM 的文档说，INT4 W4A16 最适合 “in workloads with low queries per second”（译文：每秒查询数较低的负载）下保持低延迟。高负载时，反量化权重的开销更显著，收益会缩小。

只有 16 个等级，舍入误差比 [FP8](https://broadrouter.com/zh/glossary/fp8/) 大，这正是 GPTQ 和 AWQ 存在的原因。平均基准分数可能掩盖你关心的任务上的损失，比如长推理、精确计算、代码或较少见的语言。如果 INT4 版本在你自己的测试集上不如 16-bit 版本，请相信你的测试。

[混合专家](https://broadrouter.com/zh/glossary/mixture-of-experts/)模型常被做成 INT4，因为虽然每个 token 只运行少数专家，但所有专家都必须装进显存。

## 在 BroadNet Inference 上

BroadNet 的[模型目录](https://www.broadnet.ai/inference/models)说，其生产版 Gemma 4 26B A4B（API ID `broadnet/gemma-4-26b-a4b`）使用 AWQ 4-bit 权重，并采用多 token 预测和 FP8 KV 缓存。这是 BroadNet 自己的描述；API 文档没有说明其他模型的精度。如果你在自托管 4-bit 模型和调用 API 之间做选择，[自托管成本对比](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)和[大模型 API 费用计算器](https://broadrouter.com/tools/llm-api-cost-calculator/)可以帮你比较总成本。

## 常见问题

### INT4 能省多少显存？

每个权重占半个字节而不是两个字节，所以约为 16-bit 大小的四分之一，再加上缩放因子的少量开销。一个 25.2B 参数的模型，权重从约 50.4 GB 降到约 12.6 GB。

### INT4 和 NF4、FP4 一样吗？

不一样。三者都用 4 bit，但 NF4 和 FP4 的 16 个等级分布不均匀，而 INT4 是均匀分布的。Hugging Face 的 bitsandbytes 集成提供 FP4 和 NF4；GPTQ 和 AWQ 的检查点通常用 INT4。

### INT4 会让模型变快吗？

低负载时通常会，因为生成速度受限于从显存读取权重，而 4-bit 权重更小。vLLM 的文档说，INT4 W4A16 在每秒查询数较低的负载下帮助最大；高负载时收益会缩小。

## 另请参阅

-   [量化（quantization）](https://broadrouter.com/zh/glossary/quantization/) (术语)
-   [FP8（8 位浮点数）](https://broadrouter.com/zh/glossary/fp8/) (术语)
-   [混合专家模型（MoE）](https://broadrouter.com/zh/glossary/mixture-of-experts/) (术语)
-   [延迟（latency）](https://broadrouter.com/zh/glossary/latency/) (术语)
-   [AWQ（激活感知权重量化）](https://broadrouter.com/zh/glossary/awq/) (术语)
-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/) (指南)
-   [自建部署大模型还是用 API：真实成本与盈亏平衡点](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/) (文章)
-   [企业该选开放权重还是闭源大模型：成本、控制与风险](https://broadrouter.com/zh/blog/open-weight-vs-closed-models/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-int4&utm_content=page-cta) ·

**来源**

-   [BroadNet 模型目录（Gemma 4 26B A4B，AWQ 4-bit） （英文）](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM：数值精度（INT4 与 INT8 仅权重量化）](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin 等：AWQ，Activation-aware Weight Quantization，arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar 等：GPTQ，arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [vLLM 文档：INT4 W4A16 量化](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Hugging Face Transformers 文档：bitsandbytes（NF4 与 FP4 两种 4 位类型）（2026-11-16 查阅）](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
