Jika anda pernah memuat turun model untuk dijalankan pada komputer riba, kemungkinan besar ia fail yang berakhir dengan .gguf.
Cara ia berfungsi
Spesifikasi ggml menerangkan GGUF sebagai format binari untuk menyimpan model bagi inferens dengan GGML dan pelaksana berasaskan GGML, direka untuk pemuatan dan penyimpanan yang pantas. Ia menggantikan format GGML, GGMF dan GGJT yang lebih lama. Matlamat yang dinyatakannya termasuk:
- Fail tunggal. Model boleh dikongsi dan dimuatkan tanpa fail tambahan.
- Serasi mmap. Runtime boleh memetakan pemberat ke memori dan bukannya menyalinnya.
- Boleh dilanjutkan. Metadata baharu boleh ditambah tanpa merosakkan model lama.
- Maklumat penuh. Semua yang diperlukan untuk memuatkan model ada dalam fail.
Fail GGUF mempunyai pengepala (nombor ajaib, versi format, bilangan tensor dan metadata), pasangan kunci-nilai metadata bertaip, jadual nama, bentuk, jenis dan ofset tensor, pelapik hingga sempadan penjajaran (32 bait secara lalai), kemudian data tensor.
Nama fail mengikut konvensyen. Contoh daripada spesifikasi, Mixtral-8x7B-v0.1-KQ2.gguf, dipecahkan kepada nama asas, label saiz (lapan pakar 7B, lihat mixture of experts), versi dan pengekodan.
Kebanyakan fail GGUF telah dikuantisasi. Jadual Hugging Face menyenaraikan jenis yang biasa:
| Jenis | Bit bagi setiap pemberat | Nota |
|---|---|---|
| Q8_0 | 8 | Round-to-nearest lama, blok 32 pemberat |
| Q6_K | 6.5625 | Super-blok k-quant |
| Q5_K | 5.5 | Super-blok k-quant |
| Q4_K | 4.5 | Super-blok k-quant |
| IQ4_XS | 4.25 | Menggunakan matriks kepentingan (importance matrix) |
| Q2_K | 2.625 | Super-blok k-quant |
Mengapa ia penting
- Kegunaan setempat dan edge. Hugging Face menyenaraikan llama.cpp, LM Studio, GPT4All dan Ollama sebagai alat yang menggunakan GGUF. Ia laluan biasa untuk menjalankan model open-weight pada CPU, Mac atau satu GPU pengguna.
- Tokenizer dibawa bersama pemberat. Oleh sebab metadata berada dalam fail, templat chat atau tetapan tokenizer yang salah atau tiada dalam sesuatu penukaran boleh mengubah kualiti output.
- Kualiti bergantung pada jenis quant. Fail Q2 dan fail Q8 bagi model yang sama bukan model yang sama dalam amalan. Bandingkan yang setara.
- Berbeza daripada format penyediaan GPU. Enjin pelayan seperti vLLM menyenaraikan GGUF antara format yang disokong, tetapi penyediaan GPU produksi lebih kerap menggunakan format seperti AWQ atau FP8.
Di BroadNet Inference
API BroadNet menyediakan model melalui HTTP; ia tidak memberikan fail GGUF, dan anda tidak pernah memuatkan pemberat sendiri. Katalog BroadNet melaporkan bahawa di makmalnya ia telah menjalankan Qwen3.8 27B sebagai GGUF Q4_K_M dengan projektor penglihatan dan drafter multi-token-prediction pada llama.cpp, di samping binaan AWQ INT4 pada vLLM untuk AMD ROCm. Ia tidak menyatakan format mana yang menyediakan API awam. Jika anda menimbang persediaan GGUF setempat berbanding API, panduan kos hos sendiri vs API dan model open-weight vs tertutup menerangkan pertukarannya.