---
title: "什么是 GGUF？llama.cpp 模型文件格式详解 | BroadRouter"
description: "GGUF 是 llama.cpp 以及 Ollama、LM Studio 等工具使用的单文件模型格式。GGUF 文件里有什么，以及如何看懂 Q4_K 这样的量化名称。"
url: https://broadrouter.com/zh/glossary/gguf/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/gguf/)（2026-11-15 更新）。

# GGUF

更新于 2026-11-15

GGUF 是一种二进制文件格式，用于存储语言模型，供 llama.cpp 等基于 GGML 的运行时推理。一个 GGUF 文件包含权重（通常已量化）以及加载模型所需的元数据，如分词器和架构信息，并且可以通过内存映射快速加载。

又称： GGUF 文件、GGUF 格式、GGUF 模型、GGUF 量化、llama.cpp 格式、GGUF file、GGUF format、llama.cpp format

如果你下载过模型在笔记本电脑上运行，那很可能是一个以 `.gguf` 结尾的文件。

## 工作原理

ggml 规范把 GGUF 描述为一种二进制格式，用于存储模型，供 GGML 及基于 GGML 的执行器推理，设计目标是快速加载和保存。它取代了更早的 GGML、GGMF 和 GGJT 格式。规范列出的目标包括：

-   **单文件。** 模型无需额外文件即可分享和加载。
-   **兼容 mmap。** 运行时可以对权重做内存映射，而不必复制。
-   **可扩展。** 可以添加新的元数据，而不会破坏旧模型。
-   **信息完整。** 加载模型所需的一切都在文件里。

GGUF 文件依次包含：文件头（魔数、格式版本、张量数和元数据数）、带类型的元数据键值对、记录张量名称、形状、类型和偏移量的表、对齐到边界的填充（默认 32 字节），最后是张量数据。

文件名遵循一套约定。规范中的示例 `Mixtral-8x7B-v0.1-KQ2.gguf` 可以拆分为基础名称、规模标签（8 个 7B 专家，参见[混合专家模型](https://broadrouter.com/zh/glossary/mixture-of-experts/)）、版本和编码。

大多数 GGUF 文件都经过[量化](https://broadrouter.com/zh/glossary/quantization/)。Hugging Face 的表格列出了常见类型：

| 类型 | 每权重位数 | 说明 |
| --- | --- | --- |
| Q8\_0 | 8 | 传统的就近取整，32 权重为一块 |
| Q6\_K | 6.5625 | k-quant 超级块 |
| Q5\_K | 5.5 | k-quant 超级块 |
| Q4\_K | 4.5 | k-quant 超级块 |
| IQ4\_XS | 4.25 | 使用重要性矩阵 |
| Q2\_K | 2.625 | k-quant 超级块 |

## 为什么重要

-   **本地和边缘部署。** Hugging Face 列出 llama.cpp、LM Studio、GPT4All 和 Ollama 是使用 GGUF 的工具。在 CPU、Mac 或单张消费级 GPU 上运行[开放权重模型](https://broadrouter.com/zh/glossary/open-weight-model/)，它是常见途径。
-   **分词器与权重一起分发。** 因为元数据就在文件里，转换时[对话模板](https://broadrouter.com/zh/glossary/chat-template/)或[分词器](https://broadrouter.com/zh/glossary/tokenizer/)设置有误或缺失，都可能改变输出质量。
-   **质量取决于量化类型。** 同一个模型的 Q2 文件和 Q8 文件，在实际使用中并不是同一个模型。要同类相比。
-   **不同于 GPU 服务格式。** [vLLM](https://broadrouter.com/zh/glossary/vllm/) 等服务端引擎把 GGUF 列为支持的格式之一，但生产环境的 GPU 服务更常用 [AWQ](https://broadrouter.com/zh/glossary/awq/) 或 FP8 等格式。

## 在 BroadNet Inference 上

BroadNet 的 API 通过 HTTP 提供模型服务；它不分发 GGUF 文件，你也从不需要自己加载权重。BroadNet 的模型目录报告，它在实验室中用 llama.cpp 以 GGUF Q4\_K\_M 运行过 [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/)，带视觉投影器和多 token 预测草稿模型，同时还在 AMD ROCm 上用 vLLM 运行了 AWQ INT4 版本。它没有说明公开 API 使用的是哪种格式。如果你在权衡本地 GGUF 部署和 API，[自托管与 API 成本对比](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)和[开放权重模型与闭源模型](https://broadrouter.com/zh/blog/open-weight-vs-closed-models/)介绍了其中的取舍。

## 常见问题

### Q4\_K 这样的名称是什么意思？

它是量化类型。Hugging Face 的表格把 Q4\_K 描述为 4 位量化，由 8 个块组成超级块，每块 32 个权重，约合每个权重 4.5 位。位数越少，占用内存越少，通常质量损失也越大。

### 可以用 OpenAI API 格式调用 GGUF 模型吗？

文件本身不行。你需要把它加载到 llama.cpp 的 server、Ollama 或 LM Studio 等运行时中，由运行时提供服务。它暴露什么 API，请查看运行时的文档。

### GGUF 和 safetensors 是一回事吗？

不是。Hugging Face 把 safetensors 描述为只存张量的格式，而 GGUF 在一个文件中同时编码了张量和一组标准化的元数据。

## 另请参阅

-   [量化（quantization）](https://broadrouter.com/zh/glossary/quantization/)（术语）
-   [AWQ（激活感知权重量化）](https://broadrouter.com/zh/glossary/awq/)（术语）
-   [INT4（4-bit 量化）](https://broadrouter.com/zh/glossary/int4/)（术语）
-   [开放权重模型（open-weight model）](https://broadrouter.com/zh/glossary/open-weight-model/)（术语）
-   [分词器（tokenizer）](https://broadrouter.com/zh/glossary/tokenizer/)（术语）
-   [vLLM](https://broadrouter.com/zh/glossary/vllm/)（术语）
-   [自建部署大模型还是用 API：真实成本与盈亏平衡点](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)（文章）
-   [企业该选开放权重还是闭源大模型：成本、控制与风险](https://broadrouter.com/zh/blog/open-weight-vs-closed-models/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-gguf&utm_content=page-cta) ·

**来源**

-   [ggml 项目，GGUF 规范，docs/gguf.md（2026-11-15 查阅）](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Hugging Face Hub 文档，GGUF（量化类型表）（2026-11-15 查阅）](https://huggingface.co/docs/hub/gguf)
-   [BroadNet 模型目录：实验室部署配置（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference/models)
