BroadRouter

GGUF (định dạng file model của llama.cpp)

Cập nhật

GGUF là định dạng file nhị phân để lưu model ngôn ngữ phục vụ inference với các runtime dựa trên GGML như llama.cpp. Một file GGUF chứa trọng số, thường đã lượng tử hóa, cùng metadata cần để nạp model, gồm thông tin tokenizer và kiến trúc, và có thể được memory-map để nạp nhanh.

Còn gọi là: GGUF là gì, file GGUF, định dạng GGUF, model GGUF, định dạng llama.cpp, GGUF file, GGUF format, llama.cpp format

Nếu bạn từng tải một model về chạy trên laptop, rất có thể đó là một file có đuôi .gguf.

Cách hoạt động

Đặc tả của ggml mô tả GGUF là một định dạng nhị phân để lưu model phục vụ inference với GGML và các executor dựa trên GGML, được thiết kế để nạp và lưu nhanh. Nó thay thế các định dạng cũ hơn là GGML, GGMF và GGJT. Các mục tiêu được nêu gồm:

  • Một file duy nhất. Model có thể được chia sẻ và nạp mà không cần file phụ.
  • Tương thích mmap. Runtime có thể memory-map trọng số thay vì sao chép.
  • Mở rộng được. Có thể thêm metadata mới mà không làm hỏng các model cũ.
  • Đầy đủ thông tin. Mọi thứ cần để nạp model đều nằm trong file.

Một file GGUF gồm phần header (magic number, phiên bản định dạng, số lượng tensor và metadata), các cặp key-value metadata có kiểu, một bảng tên tensor, shape, kiểu và offset, phần padding tới ranh giới căn chỉnh (mặc định 32 byte), rồi đến dữ liệu tensor.

Tên file theo một quy ước. Ví dụ trong đặc tả Mixtral-8x7B-v0.1-KQ2.gguf tách thành tên gốc, nhãn kích thước (tám expert 7B, xem mixture of experts), phiên bản và kiểu mã hóa.

Phần lớn file GGUF đã được lượng tử hóa. Bảng của Hugging Face liệt kê các kiểu phổ biến:

Kiểu Bit mỗi trọng số Ghi chú
Q8_0 8 Kiểu cũ làm tròn tới giá trị gần nhất, khối 32 trọng số
Q6_K 6,5625 Super-block k-quant
Q5_K 5,5 Super-block k-quant
Q4_K 4,5 Super-block k-quant
IQ4_XS 4,25 Dùng importance matrix
Q2_K 2,625 Super-block k-quant

Vì sao quan trọng

  • Dùng cục bộ và ở biên. Hugging Face liệt kê llama.cpp, LM Studio, GPT4All và Ollama là các công cụ dùng GGUF. Đây là con đường thông thường để chạy một model trọng số mở trên CPU, máy Mac hoặc một GPU phổ thông.
  • Tokenizer đi cùng trọng số. Vì metadata nằm trong file, một thiết lập chat template hay tokenizer sai hoặc thiếu khi chuyển đổi có thể làm thay đổi chất lượng đầu ra.
  • Chất lượng phụ thuộc vào kiểu quant. File Q2 và file Q8 của cùng một model trên thực tế không phải cùng một model. Hãy so sánh cùng loại với nhau.
  • Khác với định dạng phục vụ trên GPU. Các engine server như vLLM có liệt kê GGUF trong số định dạng hỗ trợ, nhưng phục vụ production trên GPU thường dùng các định dạng như AWQ hoặc FP8 hơn.

Trên BroadNet Inference

API của BroadNet phục vụ model qua HTTP; nó không phát file GGUF, và bạn không bao giờ tự nạp trọng số. Danh mục của BroadNet cho biết trong phòng lab họ đã chạy Qwen3.8 27B dạng GGUF Q4_K_M với vision projector và drafter multi-token-prediction trên llama.cpp, song song với một bản build AWQ INT4 trên vLLM cho AMD ROCm. Danh mục không nói định dạng nào phục vụ API công khai. Nếu bạn đang cân nhắc giữa một thiết lập GGUF cục bộ và một API, hướng dẫn chi phí tự host so với API và model trọng số mở so với model đóng trình bày các đánh đổi.

Câu hỏi thường gặp

Tên như Q4_K có nghĩa là gì?

Đó là kiểu lượng tử hóa. Bảng của Hugging Face mô tả Q4_K là lượng tử hóa 4-bit theo super-block gồm 8 khối 32 trọng số, khoảng 4,5 bit mỗi trọng số. Ít bit hơn thì tốn ít bộ nhớ hơn và thường giảm chất lượng nhiều hơn.

Có gọi model GGUF qua định dạng OpenAI API được không?

Bản thân file thì không. Bạn nạp nó vào một runtime như server của llama.cpp, Ollama hoặc LM Studio, và runtime đó sẽ phục vụ model. Hãy xem tài liệu của runtime để biết nó cung cấp API nào.

GGUF có giống safetensors không?

Không. Hugging Face mô tả safetensors là định dạng chỉ chứa tensor, còn GGUF mã hóa cả tensor lẫn một bộ metadata chuẩn hóa trong cùng một file.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity