BroadRouter

GGUF

अपडेट किया गया

GGUF लैंग्वेज मॉडल स्टोर करने का एक बाइनरी फ़ाइल फ़ॉर्मैट है, जो llama.cpp जैसे GGML-आधारित रनटाइम पर इन्फ़रेंस के लिए बना है। एक GGUF फ़ाइल में वेट, अक्सर क्वांटाइज़्ड, और मॉडल लोड करने का ज़रूरी मेटाडेटा होता है, जैसे टोकनाइज़र और आर्किटेक्चर की जानकारी, और इसे तेज़ लोडिंग के लिए मेमोरी-मैप किया जा सकता है।

अन्य नाम: GGUF, GGUF फ़ाइल, gguf kya hai, gguf file kya hoti hai, GGUF file, GGUF format, llama.cpp format

अगर आपने कभी लैपटॉप पर चलाने के लिए कोई मॉडल डाउनलोड किया है, तो वह शायद .gguf पर ख़त्म होने वाली फ़ाइल थी।

यह कैसे काम करता है

ggml स्पेसिफ़िकेशन GGUF को GGML और GGML-आधारित एक्ज़ीक्यूटर पर इन्फ़रेंस के लिए मॉडल स्टोर करने वाला बाइनरी फ़ॉर्मैट बताता है, जो तेज़ लोडिंग और सेविंग के लिए बना है। इसने पुराने GGML, GGMF और GGJT फ़ॉर्मैट की जगह ली। इसके घोषित लक्ष्यों में ये शामिल हैं:

  • एक फ़ाइल. मॉडल को बिना किसी अतिरिक्त फ़ाइल के शेयर और लोड किया जा सकता है।
  • mmap के साथ कम्पैटिबल. रनटाइम वेट को कॉपी करने के बजाय मेमोरी-मैप कर सकता है।
  • बढ़ाने लायक़. पुराने मॉडल तोड़े बिना नया मेटाडेटा जोड़ा जा सकता है।
  • पूरी जानकारी. मॉडल लोड करने के लिए जो कुछ चाहिए, सब फ़ाइल में है।

GGUF फ़ाइल में एक हेडर (मैजिक नंबर, फ़ॉर्मैट वर्ज़न, टेंसर और मेटाडेटा की गिनती), टाइप वाले मेटाडेटा key-value जोड़े, टेंसर के नाम, आकार, टाइप और ऑफ़सेट की तालिका, एक अलाइनमेंट सीमा तक पैडिंग (डिफ़ॉल्ट 32 बाइट), और फिर टेंसर डेटा होता है।

फ़ाइल के नाम एक परिपाटी मानते हैं। स्पेसिफ़िकेशन का उदाहरण Mixtral-8x7B-v0.1-KQ2.gguf बेस नाम, साइज़ लेबल (7B के आठ एक्सपर्ट, देखें मिक्सचर ऑफ़ एक्सपर्ट्स), वर्ज़न और एन्कोडिंग में टूटता है।

ज़्यादातर GGUF फ़ाइलें क्वांटाइज़्ड होती हैं। Hugging Face की तालिका आम टाइप बताती है:

टाइप बिट प्रति वेट नोट
Q8_0 8 पुराना round-to-nearest, 32-वेट ब्लॉक
Q6_K 6.5625 k-quant सुपर-ब्लॉक
Q5_K 5.5 k-quant सुपर-ब्लॉक
Q4_K 4.5 k-quant सुपर-ब्लॉक
IQ4_XS 4.25 इम्पॉर्टेंस मैट्रिक्स इस्तेमाल करता है
Q2_K 2.625 k-quant सुपर-ब्लॉक

यह क्यों मायने रखता है

  • लोकल और एज इस्तेमाल. Hugging Face llama.cpp, LM Studio, GPT4All और Ollama को GGUF इस्तेमाल करने वाले टूल बताता है। CPU, Mac या एक कंज़्यूमर GPU पर ओपन-वेट मॉडल चलाने का यह आम रास्ता है।
  • टोकनाइज़र वेट के साथ चलता है. मेटाडेटा फ़ाइल में ही होने के कारण, कन्वर्ज़न में ग़लत या ग़ायब चैट टेम्पलेट या टोकनाइज़र सेटिंग आउटपुट की क्वालिटी बदल सकती है।
  • क्वालिटी क्वांट टाइप पर निर्भर है. एक ही मॉडल की Q2 फ़ाइल और Q8 फ़ाइल व्यवहार में एक जैसा मॉडल नहीं हैं। बराबरी वालों की ही तुलना करें।
  • GPU सर्विंग फ़ॉर्मैट से अलग. vLLM जैसे सर्वर इंजन GGUF को सपोर्टेड फ़ॉर्मैट में गिनते हैं, लेकिन प्रोडक्शन GPU सर्विंग में ज़्यादातर AWQ या FP8 जैसे फ़ॉर्मैट इस्तेमाल होते हैं।

BroadNet Inference पर

BroadNet का API मॉडल HTTP पर सर्व करता है; यह GGUF फ़ाइलें नहीं देता, और आपको कभी ख़ुद वेट लोड नहीं करने पड़ते। BroadNet का कैटलॉग बताता है कि उसने अपनी लैब में Qwen3.8 27B को llama.cpp पर GGUF Q4_K_M के रूप में, विज़न प्रोजेक्टर और मल्टी-टोकन-प्रेडिक्शन ड्राफ़्टर के साथ चलाया है, और साथ में AMD ROCm के लिए vLLM पर AWQ INT4 बिल्ड भी। यह नहीं बताया गया कि सार्वजनिक API कौन-सा फ़ॉर्मैट सर्व करता है। अगर आप लोकल GGUF सेटअप और API के बीच तौल रहे हैं, तो सेल्फ़-होस्टिंग बनाम API लागत गाइड और ओपन-वेट बनाम क्लोज़्ड मॉडल फ़ायदे-नुक़सान बताते हैं।

अक्सर पूछे जाने वाले सवाल

Q4_K जैसे नाम का क्या मतलब है?

यह क्वांटाइज़ेशन टाइप है। Hugging Face की तालिका Q4_K को 4-बिट क्वांटाइज़ेशन बताती है, जिसमें 32 वेट के 8 ब्लॉक वाले सुपर-ब्लॉक होते हैं, लगभग 4.5 बिट प्रति वेट। कम बिट कम मेमोरी लेते हैं और आम तौर पर क्वालिटी ज़्यादा घटाते हैं।

क्या मैं GGUF मॉडल को OpenAI API फ़ॉर्मैट से कॉल कर सकता हूँ?

फ़ाइल को सीधे नहीं। आप उसे llama.cpp के सर्वर, Ollama या LM Studio जैसे रनटाइम में लोड करते हैं, और वही रनटाइम उसे सर्व करता है। वह कौन-सा API देता है, इसके लिए रनटाइम के डॉक्स देखें।

क्या GGUF और safetensors एक ही हैं?

नहीं। Hugging Face safetensors को सिर्फ़ टेंसर वाला फ़ॉर्मैट बताता है, जबकि GGUF एक ही फ़ाइल में टेंसर और मेटाडेटा का एक मानक सेट, दोनों रखता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें