---
title: "GGUF là gì? Giải thích định dạng file model của llama.cpp"
description: "GGUF là định dạng model một file mà llama.cpp và các công cụ như Ollama, LM Studio sử dụng. Bên trong file GGUF có gì và cách đọc tên quant như Q4_K."
url: https://broadrouter.com/vi/glossary/gguf/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/gguf/) (cập nhật ngày 2026-11-15).

# GGUF (định dạng file model của llama.cpp)

Cập nhật 2026-11-15

GGUF là định dạng file nhị phân để lưu model ngôn ngữ phục vụ inference với các runtime dựa trên GGML như llama.cpp. Một file GGUF chứa trọng số, thường đã lượng tử hóa, cùng metadata cần để nạp model, gồm thông tin tokenizer và kiến trúc, và có thể được memory-map để nạp nhanh.

Còn gọi là: GGUF là gì, file GGUF, định dạng GGUF, model GGUF, định dạng llama.cpp, GGUF file, GGUF format, llama.cpp format

Nếu bạn từng tải một model về chạy trên laptop, rất có thể đó là một file có đuôi `.gguf`.

## Cách hoạt động

Đặc tả của ggml mô tả GGUF là một định dạng nhị phân để lưu model phục vụ inference với GGML và các executor dựa trên GGML, được thiết kế để nạp và lưu nhanh. Nó thay thế các định dạng cũ hơn là GGML, GGMF và GGJT. Các mục tiêu được nêu gồm:

-   **Một file duy nhất.** Model có thể được chia sẻ và nạp mà không cần file phụ.
-   **Tương thích mmap.** Runtime có thể memory-map trọng số thay vì sao chép.
-   **Mở rộng được.** Có thể thêm metadata mới mà không làm hỏng các model cũ.
-   **Đầy đủ thông tin.** Mọi thứ cần để nạp model đều nằm trong file.

Một file GGUF gồm phần header (magic number, phiên bản định dạng, số lượng tensor và metadata), các cặp key-value metadata có kiểu, một bảng tên tensor, shape, kiểu và offset, phần padding tới ranh giới căn chỉnh (mặc định 32 byte), rồi đến dữ liệu tensor.

Tên file theo một quy ước. Ví dụ trong đặc tả `Mixtral-8x7B-v0.1-KQ2.gguf` tách thành tên gốc, nhãn kích thước (tám expert 7B, xem [mixture of experts](https://broadrouter.com/vi/glossary/mixture-of-experts/)), phiên bản và kiểu mã hóa.

Phần lớn file GGUF đã được [lượng tử hóa](https://broadrouter.com/vi/glossary/quantization/). Bảng của Hugging Face liệt kê các kiểu phổ biến:

| Kiểu | Bit mỗi trọng số | Ghi chú |
| --- | --- | --- |
| Q8\_0 | 8 | Kiểu cũ làm tròn tới giá trị gần nhất, khối 32 trọng số |
| Q6\_K | 6,5625 | Super-block k-quant |
| Q5\_K | 5,5 | Super-block k-quant |
| Q4\_K | 4,5 | Super-block k-quant |
| IQ4\_XS | 4,25 | Dùng importance matrix |
| Q2\_K | 2,625 | Super-block k-quant |

## Vì sao quan trọng

-   **Dùng cục bộ và ở biên.** Hugging Face liệt kê llama.cpp, LM Studio, GPT4All và Ollama là các công cụ dùng GGUF. Đây là con đường thông thường để chạy một [model trọng số mở](https://broadrouter.com/vi/glossary/open-weight-model/) trên CPU, máy Mac hoặc một GPU phổ thông.
-   **Tokenizer đi cùng trọng số.** Vì metadata nằm trong file, một thiết lập [chat template](https://broadrouter.com/vi/glossary/chat-template/) hay [tokenizer](https://broadrouter.com/vi/glossary/tokenizer/) sai hoặc thiếu khi chuyển đổi có thể làm thay đổi chất lượng đầu ra.
-   **Chất lượng phụ thuộc vào kiểu quant.** File Q2 và file Q8 của cùng một model trên thực tế không phải cùng một model. Hãy so sánh cùng loại với nhau.
-   **Khác với định dạng phục vụ trên GPU.** Các engine server như [vLLM](https://broadrouter.com/vi/glossary/vllm/) có liệt kê GGUF trong số định dạng hỗ trợ, nhưng phục vụ production trên GPU thường dùng các định dạng như [AWQ](https://broadrouter.com/vi/glossary/awq/) hoặc FP8 hơn.

## Trên BroadNet Inference

API của BroadNet phục vụ model qua HTTP; nó không phát file GGUF, và bạn không bao giờ tự nạp trọng số. Danh mục của BroadNet cho biết trong phòng lab họ đã chạy [Qwen3.8 27B](https://broadrouter.com/vi/models/qwen3.8-27b/) dạng GGUF Q4\_K\_M với vision projector và drafter multi-token-prediction trên llama.cpp, song song với một bản build AWQ INT4 trên vLLM cho AMD ROCm. Danh mục không nói định dạng nào phục vụ API công khai. Nếu bạn đang cân nhắc giữa một thiết lập GGUF cục bộ và một API, [hướng dẫn chi phí tự host so với API](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/) và [model trọng số mở so với model đóng](https://broadrouter.com/vi/blog/open-weight-vs-closed-models/) trình bày các đánh đổi.

## Câu hỏi thường gặp

### Tên như Q4\_K có nghĩa là gì?

Đó là kiểu lượng tử hóa. Bảng của Hugging Face mô tả Q4\_K là lượng tử hóa 4-bit theo super-block gồm 8 khối 32 trọng số, khoảng 4,5 bit mỗi trọng số. Ít bit hơn thì tốn ít bộ nhớ hơn và thường giảm chất lượng nhiều hơn.

### Có gọi model GGUF qua định dạng OpenAI API được không?

Bản thân file thì không. Bạn nạp nó vào một runtime như server của llama.cpp, Ollama hoặc LM Studio, và runtime đó sẽ phục vụ model. Hãy xem tài liệu của runtime để biết nó cung cấp API nào.

### GGUF có giống safetensors không?

Không. Hugging Face mô tả safetensors là định dạng chỉ chứa tensor, còn GGUF mã hóa cả tensor lẫn một bộ metadata chuẩn hóa trong cùng một file.

## Xem thêm

-   [Lượng tử hóa (quantization)](https://broadrouter.com/vi/glossary/quantization/) (thuật ngữ)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/vi/glossary/awq/) (thuật ngữ)
-   [INT4 (lượng tử hóa 4-bit)](https://broadrouter.com/vi/glossary/int4/) (thuật ngữ)
-   [Model trọng số mở (open-weight model)](https://broadrouter.com/vi/glossary/open-weight-model/) (thuật ngữ)
-   [Tokenizer (bộ tách token)](https://broadrouter.com/vi/glossary/tokenizer/) (thuật ngữ)
-   [vLLM](https://broadrouter.com/vi/glossary/vllm/) (thuật ngữ)
-   [Tự host LLM hay dùng API: chi phí thực và điểm hòa vốn](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/) (bài viết)
-   [LLM open-weight hay đóng cho doanh nghiệp: chi phí, kiểm soát, rủi ro](https://broadrouter.com/vi/blog/open-weight-vs-closed-models/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-gguf&utm_content=page-cta) ·

**Nguồn**

-   [Dự án ggml, đặc tả GGUF, docs/gguf.md (kiểm tra ngày 2026-11-15)](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Tài liệu Hugging Face Hub, GGUF (bảng các kiểu lượng tử hóa) (kiểm tra ngày 2026-11-15)](https://huggingface.co/docs/hub/gguf)
-   [Danh mục model của BroadNet: cấu hình phục vụ trong phòng lab (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference/models)
