अगर आपने कभी लैपटॉप पर चलाने के लिए कोई मॉडल डाउनलोड किया है, तो वह शायद .gguf पर ख़त्म होने वाली फ़ाइल थी।
यह कैसे काम करता है
ggml स्पेसिफ़िकेशन GGUF को GGML और GGML-आधारित एक्ज़ीक्यूटर पर इन्फ़रेंस के लिए मॉडल स्टोर करने वाला बाइनरी फ़ॉर्मैट बताता है, जो तेज़ लोडिंग और सेविंग के लिए बना है। इसने पुराने GGML, GGMF और GGJT फ़ॉर्मैट की जगह ली। इसके घोषित लक्ष्यों में ये शामिल हैं:
- एक फ़ाइल. मॉडल को बिना किसी अतिरिक्त फ़ाइल के शेयर और लोड किया जा सकता है।
- mmap के साथ कम्पैटिबल. रनटाइम वेट को कॉपी करने के बजाय मेमोरी-मैप कर सकता है।
- बढ़ाने लायक़. पुराने मॉडल तोड़े बिना नया मेटाडेटा जोड़ा जा सकता है।
- पूरी जानकारी. मॉडल लोड करने के लिए जो कुछ चाहिए, सब फ़ाइल में है।
GGUF फ़ाइल में एक हेडर (मैजिक नंबर, फ़ॉर्मैट वर्ज़न, टेंसर और मेटाडेटा की गिनती), टाइप वाले मेटाडेटा key-value जोड़े, टेंसर के नाम, आकार, टाइप और ऑफ़सेट की तालिका, एक अलाइनमेंट सीमा तक पैडिंग (डिफ़ॉल्ट 32 बाइट), और फिर टेंसर डेटा होता है।
फ़ाइल के नाम एक परिपाटी मानते हैं। स्पेसिफ़िकेशन का उदाहरण Mixtral-8x7B-v0.1-KQ2.gguf बेस नाम, साइज़ लेबल (7B के आठ एक्सपर्ट, देखें मिक्सचर ऑफ़ एक्सपर्ट्स), वर्ज़न और एन्कोडिंग में टूटता है।
ज़्यादातर GGUF फ़ाइलें क्वांटाइज़्ड होती हैं। Hugging Face की तालिका आम टाइप बताती है:
| टाइप | बिट प्रति वेट | नोट |
|---|---|---|
| Q8_0 | 8 | पुराना round-to-nearest, 32-वेट ब्लॉक |
| Q6_K | 6.5625 | k-quant सुपर-ब्लॉक |
| Q5_K | 5.5 | k-quant सुपर-ब्लॉक |
| Q4_K | 4.5 | k-quant सुपर-ब्लॉक |
| IQ4_XS | 4.25 | इम्पॉर्टेंस मैट्रिक्स इस्तेमाल करता है |
| Q2_K | 2.625 | k-quant सुपर-ब्लॉक |
यह क्यों मायने रखता है
- लोकल और एज इस्तेमाल. Hugging Face llama.cpp, LM Studio, GPT4All और Ollama को GGUF इस्तेमाल करने वाले टूल बताता है। CPU, Mac या एक कंज़्यूमर GPU पर ओपन-वेट मॉडल चलाने का यह आम रास्ता है।
- टोकनाइज़र वेट के साथ चलता है. मेटाडेटा फ़ाइल में ही होने के कारण, कन्वर्ज़न में ग़लत या ग़ायब चैट टेम्पलेट या टोकनाइज़र सेटिंग आउटपुट की क्वालिटी बदल सकती है।
- क्वालिटी क्वांट टाइप पर निर्भर है. एक ही मॉडल की Q2 फ़ाइल और Q8 फ़ाइल व्यवहार में एक जैसा मॉडल नहीं हैं। बराबरी वालों की ही तुलना करें।
- GPU सर्विंग फ़ॉर्मैट से अलग. vLLM जैसे सर्वर इंजन GGUF को सपोर्टेड फ़ॉर्मैट में गिनते हैं, लेकिन प्रोडक्शन GPU सर्विंग में ज़्यादातर AWQ या FP8 जैसे फ़ॉर्मैट इस्तेमाल होते हैं।
BroadNet Inference पर
BroadNet का API मॉडल HTTP पर सर्व करता है; यह GGUF फ़ाइलें नहीं देता, और आपको कभी ख़ुद वेट लोड नहीं करने पड़ते। BroadNet का कैटलॉग बताता है कि उसने अपनी लैब में Qwen3.8 27B को llama.cpp पर GGUF Q4_K_M के रूप में, विज़न प्रोजेक्टर और मल्टी-टोकन-प्रेडिक्शन ड्राफ़्टर के साथ चलाया है, और साथ में AMD ROCm के लिए vLLM पर AWQ INT4 बिल्ड भी। यह नहीं बताया गया कि सार्वजनिक API कौन-सा फ़ॉर्मैट सर्व करता है। अगर आप लोकल GGUF सेटअप और API के बीच तौल रहे हैं, तो सेल्फ़-होस्टिंग बनाम API लागत गाइड और ओपन-वेट बनाम क्लोज़्ड मॉडल फ़ायदे-नुक़सान बताते हैं।