---
title: "Apa itu GGUF? Format file model llama.cpp | BroadRouter"
description: "GGUF adalah format model satu file yang dipakai llama.cpp serta tool seperti Ollama dan LM Studio. Apa isi file GGUF dan cara membaca nama kuantisasi seperti Q4_K."
url: https://broadrouter.com/id/glossary/gguf/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/gguf/) (diperbarui 2026-11-15).

# GGUF

Diperbarui 2026-11-15

GGUF adalah format file biner untuk menyimpan model bahasa yang akan dijalankan inferensinya dengan runtime berbasis GGML seperti llama.cpp. Satu file GGUF berisi bobot, sering kali terkuantisasi, ditambah metadata yang dibutuhkan untuk memuat model, termasuk detail tokenizer dan arsitektur, dan bisa di-memory-map agar cepat dimuat.

Disebut juga: GGUF, file GGUF, format GGUF, model GGUF, format llama.cpp, GGUF file, GGUF format, llama.cpp format

Jika Anda pernah mengunduh model untuk dijalankan di laptop, kemungkinan besar file-nya berakhiran `.gguf`.

## Cara kerjanya

Spesifikasi ggml menggambarkan GGUF sebagai format biner untuk menyimpan model yang akan dijalankan inferensinya dengan GGML dan executor berbasis GGML, dirancang agar cepat dimuat dan disimpan. GGUF menggantikan format lama GGML, GGMF, dan GGJT. Tujuan yang dinyatakannya antara lain:

-   **Satu file.** Model bisa dibagikan dan dimuat tanpa file tambahan.
-   **Kompatibel dengan mmap.** Runtime bisa me-memory-map bobot alih-alih menyalinnya.
-   **Dapat diperluas.** Metadata baru bisa ditambahkan tanpa merusak model lama.
-   **Informasi lengkap.** Semua yang dibutuhkan untuk memuat model ada di dalam file.

File GGUF berisi header (magic number, versi format, jumlah tensor dan metadata), pasangan key-value metadata bertipe, tabel nama, bentuk, tipe, dan offset tensor, padding hingga batas alignment (default 32 byte), lalu data tensor.

Nama file mengikuti konvensi. Contoh di spesifikasi, `Mixtral-8x7B-v0.1-KQ2.gguf`, terurai menjadi nama dasar, label ukuran (delapan expert berukuran 7B, lihat [mixture of experts](https://broadrouter.com/id/glossary/mixture-of-experts/)), versi, dan encoding.

Sebagian besar file GGUF sudah [dikuantisasi](https://broadrouter.com/id/glossary/quantization/). Tabel Hugging Face mencantumkan jenis yang umum:

| Jenis | Bit per bobot | Catatan |
| --- | --- | --- |
| Q8\_0 | 8 | Round-to-nearest lama, blok 32 bobot |
| Q6\_K | 6,5625 | Super-block k-quant |
| Q5\_K | 5,5 | Super-block k-quant |
| Q4\_K | 4,5 | Super-block k-quant |
| IQ4\_XS | 4,25 | Memakai importance matrix |
| Q2\_K | 2,625 | Super-block k-quant |

## Mengapa penting

-   **Pemakaian lokal dan edge.** Hugging Face mencantumkan llama.cpp, LM Studio, GPT4All, dan Ollama sebagai tool yang memakai GGUF. Ini jalur yang lazim untuk menjalankan [model open-weight](https://broadrouter.com/id/glossary/open-weight-model/) di CPU, Mac, atau satu GPU konsumen.
-   **Tokenizer ikut bersama bobot.** Karena metadata ada di dalam file, pengaturan [chat template](https://broadrouter.com/id/glossary/chat-template/) atau [tokenizer](https://broadrouter.com/id/glossary/tokenizer/) yang salah atau hilang saat konversi bisa mengubah kualitas output.
-   **Kualitas bergantung pada jenis kuantisasi.** File Q2 dan file Q8 dari model yang sama dalam praktiknya bukan model yang sama. Bandingkan yang setara.
-   **Berbeda dari format serving GPU.** Engine server seperti [vLLM](https://broadrouter.com/id/glossary/vllm/) mencantumkan GGUF di antara format yang didukung, tetapi serving GPU di produksi lebih sering memakai format seperti [AWQ](https://broadrouter.com/id/glossary/awq/) atau FP8.

## Di BroadNet Inference

API BroadNet melayani model lewat HTTP; BroadNet tidak membagikan file GGUF, dan Anda tidak pernah memuat bobot sendiri. Katalog BroadNet melaporkan bahwa di lab-nya BroadNet pernah menjalankan [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) sebagai GGUF Q4\_K\_M dengan vision projector dan drafter multi-token prediction di llama.cpp, berdampingan dengan build AWQ INT4 di vLLM untuk AMD ROCm. Katalog itu tidak menyebutkan format mana yang melayani API publik. Jika Anda sedang menimbang setup GGUF lokal dibanding API, [panduan biaya self-hosting vs API](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) dan [model open-weight vs model tertutup](https://broadrouter.com/id/blog/open-weight-vs-closed-models/) membahas pertimbangannya.

## Pertanyaan umum

### Apa arti nama seperti Q4\_K?

Itu jenis kuantisasinya. Tabel Hugging Face menjelaskan Q4\_K sebagai kuantisasi 4-bit dalam super-block berisi 8 blok masing-masing 32 bobot, sekitar 4,5 bit per bobot. Makin sedikit bit, makin sedikit memori, dan biasanya kualitasnya makin turun.

### Bisakah saya memanggil model GGUF lewat format API OpenAI?

Tidak langsung dari file-nya. Anda memuatnya ke runtime seperti server llama.cpp, Ollama, atau LM Studio, dan runtime itulah yang melayaninya. Periksa dokumentasi runtime tersebut untuk API yang disediakannya.

### Apakah GGUF sama dengan safetensors?

Tidak. Hugging Face menggambarkan safetensors sebagai format yang hanya berisi tensor, sedangkan GGUF menyimpan tensor sekaligus satu set metadata terstandar dalam satu file.

## Lihat juga

-   [Kuantisasi (quantization)](https://broadrouter.com/id/glossary/quantization/) (istilah)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/id/glossary/awq/) (istilah)
-   [INT4](https://broadrouter.com/id/glossary/int4/) (istilah)
-   [Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/) (istilah)
-   [Tokenizer](https://broadrouter.com/id/glossary/tokenizer/) (istilah)
-   [vLLM](https://broadrouter.com/id/glossary/vllm/) (istilah)
-   [Self-hosting LLM vs API: biaya sebenarnya dan titik impasnya](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) (artikel)
-   [Model AI open-weight vs tertutup untuk bisnis: biaya, kontrol, risiko](https://broadrouter.com/id/blog/open-weight-vs-closed-models/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-gguf&utm_content=page-cta) ·

**Sumber**

-   [Proyek ggml, spesifikasi GGUF, docs/gguf.md (diperiksa 2026-11-15)](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Dokumentasi Hugging Face Hub, GGUF (tabel jenis kuantisasi) (diperiksa 2026-11-15)](https://huggingface.co/docs/hub/gguf)
-   [Katalog model BroadNet: konfigurasi serving di lab (diperiksa 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference/models)
