Kung nakapag-download ka na ng model para patakbuhin sa laptop, malamang na file iyon na nagtatapos sa .gguf.
Paano ito gumagana
Inilalarawan ng ggml specification ang GGUF bilang binary format para sa pag-iimbak ng mga model para sa inference gamit ang GGML at mga GGML-based na executor, na idinisenyo para mabilis mag-load at mag-save. Pinalitan nito ang mas lumang GGML, GGMF at GGJT na format. Kabilang sa mga layunin nito:
- Iisang file. Puwedeng i-share at i-load ang model nang walang dagdag na file.
- Compatible sa mmap. Puwedeng i-memory-map ng runtime ang weights sa halip na kopyahin ang mga ito.
- Extensible. Puwedeng magdagdag ng bagong metadata nang hindi nasisira ang mas lumang mga model.
- Kumpletong impormasyon. Nasa file ang lahat ng kailangan para i-load ang model.
May header ang isang GGUF file (magic number, bersyon ng format, bilang ng tensor at metadata), mga typed na metadata key-value pair, table ng mga pangalan, shape, type at offset ng tensor, padding hanggang sa alignment boundary (32 byte bilang default), at saka ang tensor data.
May sinusunod na convention ang mga pangalan ng file. Ang halimbawa ng spec na Mixtral-8x7B-v0.1-KQ2.gguf ay nahahati sa base name, size label (walong expert na tig-7B, tingnan ang mixture of experts), bersyon at encoding.
Quantized ang karamihan sa mga GGUF file. Inililista ng table ng Hugging Face ang mga karaniwang type:
| Type | Bit kada weight | Notes |
|---|---|---|
| Q8_0 | 8 | Legacy na round-to-nearest, mga block na tig-32 weight |
| Q6_K | 6.5625 | k-quant na super-block |
| Q5_K | 5.5 | k-quant na super-block |
| Q4_K | 4.5 | k-quant na super-block |
| IQ4_XS | 4.25 | Gumagamit ng importance matrix |
| Q2_K | 2.625 | k-quant na super-block |
Bakit ito mahalaga
- Lokal at edge na paggamit. Inililista ng Hugging Face ang llama.cpp, LM Studio, GPT4All at Ollama bilang mga tool na gumagamit ng GGUF. Ito ang karaniwang paraan para patakbuhin ang isang open-weight model sa CPU, Mac o iisang consumer GPU.
- Kasama ng weights ang tokenizer. Dahil nasa file ang metadata, puwedeng magbago ang kalidad ng output kapag mali o kulang ang chat template o tokenizer setting sa isang conversion.
- Nakadepende sa quant type ang kalidad. Sa praktika, hindi magkaparehong model ang Q2 file at Q8 file ng iisang model. Ikumpara ang magkatulad.
- Iba sa mga GPU serving format. Nakalista ang GGUF sa mga sinusuportahang format ng mga server engine gaya ng vLLM, pero mas madalas gumamit ang production GPU serving ng mga format gaya ng AWQ o FP8.
Sa BroadNet Inference
Nagse-serve ang API ng BroadNet ng mga model sa HTTP; hindi ito namimigay ng GGUF file, at hindi ka kailanman maglo-load ng weights. Iniuulat ng catalogue ng BroadNet na sa lab nito, napatakbo nito ang Qwen3.8 27B bilang GGUF Q4_K_M na may vision projector at multi-token-prediction drafter sa llama.cpp, kasabay ng AWQ INT4 build sa vLLM para sa AMD ROCm. Hindi nito sinasabi kung aling format ang nagse-serve sa public API. Kung tinitimbang mo ang lokal na GGUF setup laban sa API, nasa gabay sa gastos ng self-hosting vs API at sa open-weight vs closed models ang mga trade-off.