BroadRouter

GGUF

Diperbarui

GGUF adalah format file biner untuk menyimpan model bahasa yang akan dijalankan inferensinya dengan runtime berbasis GGML seperti llama.cpp. Satu file GGUF berisi bobot, sering kali terkuantisasi, ditambah metadata yang dibutuhkan untuk memuat model, termasuk detail tokenizer dan arsitektur, dan bisa di-memory-map agar cepat dimuat.

Disebut juga: GGUF, file GGUF, format GGUF, model GGUF, format llama.cpp, GGUF file, GGUF format, llama.cpp format

Jika Anda pernah mengunduh model untuk dijalankan di laptop, kemungkinan besar file-nya berakhiran .gguf.

Cara kerjanya

Spesifikasi ggml menggambarkan GGUF sebagai format biner untuk menyimpan model yang akan dijalankan inferensinya dengan GGML dan executor berbasis GGML, dirancang agar cepat dimuat dan disimpan. GGUF menggantikan format lama GGML, GGMF, dan GGJT. Tujuan yang dinyatakannya antara lain:

  • Satu file. Model bisa dibagikan dan dimuat tanpa file tambahan.
  • Kompatibel dengan mmap. Runtime bisa me-memory-map bobot alih-alih menyalinnya.
  • Dapat diperluas. Metadata baru bisa ditambahkan tanpa merusak model lama.
  • Informasi lengkap. Semua yang dibutuhkan untuk memuat model ada di dalam file.

File GGUF berisi header (magic number, versi format, jumlah tensor dan metadata), pasangan key-value metadata bertipe, tabel nama, bentuk, tipe, dan offset tensor, padding hingga batas alignment (default 32 byte), lalu data tensor.

Nama file mengikuti konvensi. Contoh di spesifikasi, Mixtral-8x7B-v0.1-KQ2.gguf, terurai menjadi nama dasar, label ukuran (delapan expert berukuran 7B, lihat mixture of experts), versi, dan encoding.

Sebagian besar file GGUF sudah dikuantisasi. Tabel Hugging Face mencantumkan jenis yang umum:

Jenis Bit per bobot Catatan
Q8_0 8 Round-to-nearest lama, blok 32 bobot
Q6_K 6,5625 Super-block k-quant
Q5_K 5,5 Super-block k-quant
Q4_K 4,5 Super-block k-quant
IQ4_XS 4,25 Memakai importance matrix
Q2_K 2,625 Super-block k-quant

Mengapa penting

  • Pemakaian lokal dan edge. Hugging Face mencantumkan llama.cpp, LM Studio, GPT4All, dan Ollama sebagai tool yang memakai GGUF. Ini jalur yang lazim untuk menjalankan model open-weight di CPU, Mac, atau satu GPU konsumen.
  • Tokenizer ikut bersama bobot. Karena metadata ada di dalam file, pengaturan chat template atau tokenizer yang salah atau hilang saat konversi bisa mengubah kualitas output.
  • Kualitas bergantung pada jenis kuantisasi. File Q2 dan file Q8 dari model yang sama dalam praktiknya bukan model yang sama. Bandingkan yang setara.
  • Berbeda dari format serving GPU. Engine server seperti vLLM mencantumkan GGUF di antara format yang didukung, tetapi serving GPU di produksi lebih sering memakai format seperti AWQ atau FP8.

Di BroadNet Inference

API BroadNet melayani model lewat HTTP; BroadNet tidak membagikan file GGUF, dan Anda tidak pernah memuat bobot sendiri. Katalog BroadNet melaporkan bahwa di lab-nya BroadNet pernah menjalankan Qwen3.8 27B sebagai GGUF Q4_K_M dengan vision projector dan drafter multi-token prediction di llama.cpp, berdampingan dengan build AWQ INT4 di vLLM untuk AMD ROCm. Katalog itu tidak menyebutkan format mana yang melayani API publik. Jika Anda sedang menimbang setup GGUF lokal dibanding API, panduan biaya self-hosting vs API dan model open-weight vs model tertutup membahas pertimbangannya.

Pertanyaan umum

Apa arti nama seperti Q4_K?

Itu jenis kuantisasinya. Tabel Hugging Face menjelaskan Q4_K sebagai kuantisasi 4-bit dalam super-block berisi 8 blok masing-masing 32 bobot, sekitar 4,5 bit per bobot. Makin sedikit bit, makin sedikit memori, dan biasanya kualitasnya makin turun.

Bisakah saya memanggil model GGUF lewat format API OpenAI?

Tidak langsung dari file-nya. Anda memuatnya ke runtime seperti server llama.cpp, Ollama, atau LM Studio, dan runtime itulah yang melayaninya. Periksa dokumentasi runtime tersebut untuk API yang disediakannya.

Apakah GGUF sama dengan safetensors?

Tidak. Hugging Face menggambarkan safetensors sebagai format yang hanya berisi tensor, sedangkan GGUF menyimpan tensor sekaligus satu set metadata terstandar dalam satu file.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity