---
title: "Ano ang GGUF? Ang model file format ng llama.cpp | BroadRouter"
description: "Ang GGUF ay single-file na model format ng llama.cpp at ng mga tool gaya ng Ollama at LM Studio. Ano ang laman nito at paano basahin ang quant name gaya ng Q4_K."
url: https://broadrouter.com/fil/glossary/gguf/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/gguf/) (na-update noong 2026-11-15).

# GGUF

Na-update 2026-11-15

Ang GGUF ay isang binary file format para sa pag-iimbak ng mga language model para sa inference gamit ang mga GGML-based na runtime gaya ng llama.cpp. Hawak ng iisang GGUF file ang weights, na kadalasang quantized, at ang metadata na kailangan para i-load ang model, kasama ang tokenizer at architecture, at puwede itong i-memory-map para mabilis mag-load.

Tinatawag ding: GGUF file, GGUF format, llama.cpp format, GGUF model

Kung nakapag-download ka na ng model para patakbuhin sa laptop, malamang na file iyon na nagtatapos sa `.gguf`.

## Paano ito gumagana

Inilalarawan ng ggml specification ang GGUF bilang binary format para sa pag-iimbak ng mga model para sa inference gamit ang GGML at mga GGML-based na executor, na idinisenyo para mabilis mag-load at mag-save. Pinalitan nito ang mas lumang GGML, GGMF at GGJT na format. Kabilang sa mga layunin nito:

-   **Iisang file.** Puwedeng i-share at i-load ang model nang walang dagdag na file.
-   **Compatible sa mmap.** Puwedeng i-memory-map ng runtime ang weights sa halip na kopyahin ang mga ito.
-   **Extensible.** Puwedeng magdagdag ng bagong metadata nang hindi nasisira ang mas lumang mga model.
-   **Kumpletong impormasyon.** Nasa file ang lahat ng kailangan para i-load ang model.

May header ang isang GGUF file (magic number, bersyon ng format, bilang ng tensor at metadata), mga typed na metadata key-value pair, table ng mga pangalan, shape, type at offset ng tensor, padding hanggang sa alignment boundary (32 byte bilang default), at saka ang tensor data.

May sinusunod na convention ang mga pangalan ng file. Ang halimbawa ng spec na `Mixtral-8x7B-v0.1-KQ2.gguf` ay nahahati sa base name, size label (walong expert na tig-7B, tingnan ang [mixture of experts](https://broadrouter.com/fil/glossary/mixture-of-experts/)), bersyon at encoding.

[Quantized](https://broadrouter.com/fil/glossary/quantization/) ang karamihan sa mga GGUF file. Inililista ng table ng Hugging Face ang mga karaniwang type:

| Type | Bit kada weight | Notes |
| --- | --- | --- |
| Q8\_0 | 8 | Legacy na round-to-nearest, mga block na tig-32 weight |
| Q6\_K | 6.5625 | k-quant na super-block |
| Q5\_K | 5.5 | k-quant na super-block |
| Q4\_K | 4.5 | k-quant na super-block |
| IQ4\_XS | 4.25 | Gumagamit ng importance matrix |
| Q2\_K | 2.625 | k-quant na super-block |

## Bakit ito mahalaga

-   **Lokal at edge na paggamit.** Inililista ng Hugging Face ang llama.cpp, LM Studio, GPT4All at Ollama bilang mga tool na gumagamit ng GGUF. Ito ang karaniwang paraan para patakbuhin ang isang [open-weight model](https://broadrouter.com/fil/glossary/open-weight-model/) sa CPU, Mac o iisang consumer GPU.
-   **Kasama ng weights ang tokenizer.** Dahil nasa file ang metadata, puwedeng magbago ang kalidad ng output kapag mali o kulang ang [chat template](https://broadrouter.com/fil/glossary/chat-template/) o [tokenizer](https://broadrouter.com/fil/glossary/tokenizer/) setting sa isang conversion.
-   **Nakadepende sa quant type ang kalidad.** Sa praktika, hindi magkaparehong model ang Q2 file at Q8 file ng iisang model. Ikumpara ang magkatulad.
-   **Iba sa mga GPU serving format.** Nakalista ang GGUF sa mga sinusuportahang format ng mga server engine gaya ng [vLLM](https://broadrouter.com/fil/glossary/vllm/), pero mas madalas gumamit ang production GPU serving ng mga format gaya ng [AWQ](https://broadrouter.com/fil/glossary/awq/) o FP8.

## Sa BroadNet Inference

Nagse-serve ang API ng BroadNet ng mga model sa HTTP; hindi ito namimigay ng GGUF file, at hindi ka kailanman maglo-load ng weights. Iniuulat ng catalogue ng BroadNet na sa lab nito, napatakbo nito ang [Qwen3.8 27B](https://broadrouter.com/fil/models/qwen3.8-27b/) bilang GGUF Q4\_K\_M na may vision projector at multi-token-prediction drafter sa llama.cpp, kasabay ng AWQ INT4 build sa vLLM para sa AMD ROCm. Hindi nito sinasabi kung aling format ang nagse-serve sa public API. Kung tinitimbang mo ang lokal na GGUF setup laban sa API, nasa [gabay sa gastos ng self-hosting vs API](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) at sa [open-weight vs closed models](https://broadrouter.com/fil/blog/open-weight-vs-closed-models/) ang mga trade-off.

## Mga tanong

### Ano ang ibig sabihin ng pangalang gaya ng Q4\_K?

Ito ang quantization type. Inilalarawan ng table ng Hugging Face ang Q4\_K bilang 4-bit quantization sa mga super-block na may 8 block ng tig-32 weight, mga 4.5 bit kada weight. Mas kaunting bit, mas kaunting memory, pero kadalasang mas bumababa ang kalidad.

### Puwede ko bang tawagan ang GGUF model gamit ang OpenAI API format?

Hindi ang file mismo. Ilo-load mo ito sa isang runtime gaya ng server ng llama.cpp, Ollama o LM Studio, at ang runtime na iyon ang magse-serve nito. Tingnan sa docs ng runtime kung anong API ang inilalantad nito.

### Pareho ba ang GGUF at safetensors?

Hindi. Inilalarawan ng Hugging Face ang safetensors bilang tensor-only na format, samantalang ine-encode ng GGUF ang parehong tensors at standardized na set ng metadata sa iisang file.

## Tingnan din

-   [Quantization](https://broadrouter.com/fil/glossary/quantization/) (termino)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/fil/glossary/awq/) (termino)
-   [INT4](https://broadrouter.com/fil/glossary/int4/) (termino)
-   [Open-weight model](https://broadrouter.com/fil/glossary/open-weight-model/) (termino)
-   [Tokenizer](https://broadrouter.com/fil/glossary/tokenizer/) (termino)
-   [vLLM](https://broadrouter.com/fil/glossary/vllm/) (termino)
-   [Self-hosting ng LLM vs API: ang tunay na gastos at break-even](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) (artikulo)
-   [Open-weight vs closed na AI model sa negosyo: gastos, kontrol, risk](https://broadrouter.com/fil/blog/open-weight-vs-closed-models/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-gguf&utm_content=page-cta) ·

**Mga source**

-   [ggml project, GGUF specification, docs/gguf.md (sinuri noong 2026-11-15)](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Hugging Face Hub docs, GGUF (table ng quantization types) (sinuri noong 2026-11-15)](https://huggingface.co/docs/hub/gguf)
-   [Model catalogue ng BroadNet: mga serving configuration sa lab (sinuri noong 2026-11-15) (Ingles)](https://www.broadnet.ai/inference/models)
