BroadRouter
Mulakan

GGUF

Dikemas kini

GGUF ialah format fail binari untuk menyimpan model bahasa bagi inferens dengan runtime berasaskan GGML seperti llama.cpp. Satu fail GGUF memegang pemberat, selalunya dikuantisasi, serta metadata yang diperlukan untuk memuatkan model, termasuk butiran tokenizer dan seni bina, dan ia boleh dipetakan ke memori (memory-mapped) untuk pemuatan pantas.

Juga dikenali sebagai: GGUF, fail GGUF, format GGUF, GGUF file, GGUF format, llama.cpp format

Jika anda pernah memuat turun model untuk dijalankan pada komputer riba, kemungkinan besar ia fail yang berakhir dengan .gguf.

Cara ia berfungsi

Spesifikasi ggml menerangkan GGUF sebagai format binari untuk menyimpan model bagi inferens dengan GGML dan pelaksana berasaskan GGML, direka untuk pemuatan dan penyimpanan yang pantas. Ia menggantikan format GGML, GGMF dan GGJT yang lebih lama. Matlamat yang dinyatakannya termasuk:

  • Fail tunggal. Model boleh dikongsi dan dimuatkan tanpa fail tambahan.
  • Serasi mmap. Runtime boleh memetakan pemberat ke memori dan bukannya menyalinnya.
  • Boleh dilanjutkan. Metadata baharu boleh ditambah tanpa merosakkan model lama.
  • Maklumat penuh. Semua yang diperlukan untuk memuatkan model ada dalam fail.

Fail GGUF mempunyai pengepala (nombor ajaib, versi format, bilangan tensor dan metadata), pasangan kunci-nilai metadata bertaip, jadual nama, bentuk, jenis dan ofset tensor, pelapik hingga sempadan penjajaran (32 bait secara lalai), kemudian data tensor.

Nama fail mengikut konvensyen. Contoh daripada spesifikasi, Mixtral-8x7B-v0.1-KQ2.gguf, dipecahkan kepada nama asas, label saiz (lapan pakar 7B, lihat mixture of experts), versi dan pengekodan.

Kebanyakan fail GGUF telah dikuantisasi. Jadual Hugging Face menyenaraikan jenis yang biasa:

Jenis Bit bagi setiap pemberat Nota
Q8_0 8 Round-to-nearest lama, blok 32 pemberat
Q6_K 6.5625 Super-blok k-quant
Q5_K 5.5 Super-blok k-quant
Q4_K 4.5 Super-blok k-quant
IQ4_XS 4.25 Menggunakan matriks kepentingan (importance matrix)
Q2_K 2.625 Super-blok k-quant

Mengapa ia penting

  • Kegunaan setempat dan edge. Hugging Face menyenaraikan llama.cpp, LM Studio, GPT4All dan Ollama sebagai alat yang menggunakan GGUF. Ia laluan biasa untuk menjalankan model open-weight pada CPU, Mac atau satu GPU pengguna.
  • Tokenizer dibawa bersama pemberat. Oleh sebab metadata berada dalam fail, templat chat atau tetapan tokenizer yang salah atau tiada dalam sesuatu penukaran boleh mengubah kualiti output.
  • Kualiti bergantung pada jenis quant. Fail Q2 dan fail Q8 bagi model yang sama bukan model yang sama dalam amalan. Bandingkan yang setara.
  • Berbeza daripada format penyediaan GPU. Enjin pelayan seperti vLLM menyenaraikan GGUF antara format yang disokong, tetapi penyediaan GPU produksi lebih kerap menggunakan format seperti AWQ atau FP8.

Di BroadNet Inference

API BroadNet menyediakan model melalui HTTP; ia tidak memberikan fail GGUF, dan anda tidak pernah memuatkan pemberat sendiri. Katalog BroadNet melaporkan bahawa di makmalnya ia telah menjalankan Qwen3.8 27B sebagai GGUF Q4_K_M dengan projektor penglihatan dan drafter multi-token-prediction pada llama.cpp, di samping binaan AWQ INT4 pada vLLM untuk AMD ROCm. Ia tidak menyatakan format mana yang menyediakan API awam. Jika anda menimbang persediaan GGUF setempat berbanding API, panduan kos hos sendiri vs API dan model open-weight vs tertutup menerangkan pertukarannya.

Soalan lazim

Apakah maksud nama seperti Q4_K?

Ia ialah jenis kuantisasi. Jadual Hugging Face menerangkan Q4_K sebagai kuantisasi 4-bit dalam super-blok yang terdiri daripada 8 blok dengan 32 pemberat setiap satu, kira-kira 4.5 bit bagi setiap pemberat. Lebih sedikit bit menggunakan kurang memori dan biasanya mengurangkan kualiti.

Bolehkah saya memanggil model GGUF melalui format API OpenAI?

Bukan fail itu sendiri. Anda memuatkannya ke dalam runtime seperti pelayan llama.cpp, Ollama atau LM Studio, dan runtime itulah yang menyediakannya. Semak dokumentasi runtime untuk API yang didedahkannya.

Adakah GGUF sama dengan safetensors?

Tidak. Hugging Face menerangkan safetensors sebagai format tensor sahaja, manakala GGUF mengekodkan kedua-dua tensor dan set metadata piawai dalam satu fail.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity