---
title: "GGUF کیا ہے؟ llama.cpp کا ماڈل فائل فارمیٹ سمجھیں | BroadRouter"
description: "GGUF ایک فائل والا ماڈل فارمیٹ ہے جسے llama.cpp، Ollama اور LM Studio جیسے ٹولز استعمال کرتے ہیں۔ GGUF فائل میں کیا ہوتا ہے اور Q4_K جیسے نام کیسے پڑھیں۔"
url: https://broadrouter.com/ur/glossary/gguf/
lang: ur
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/gguf/) (اپ ڈیٹ: 2026-11-15).

# GGUF

اپ ڈیٹ 2026-11-15

GGUF لینگویج ماڈلز محفوظ کرنے کا ایک بائنری فائل فارمیٹ ہے، جو llama.cpp جیسے GGML پر مبنی رن ٹائمز پر انفرینس کے لیے بنا ہے۔ ایک GGUF فائل میں ویٹس، اکثر کوانٹائزڈ، اور ماڈل لوڈ کرنے کا ضروری میٹا ڈیٹا ہوتا ہے، جیسے ٹوکنائزر اور آرکیٹیکچر کی تفصیلات، اور اسے تیز لوڈنگ کے لیے میموری میپ کیا جا سکتا ہے۔

دوسرے نام: GGUF، GGUF فائل، gguf kya hai، gguf file kya hoti hai، GGUF file، GGUF format، llama.cpp format

اگر آپ نے کبھی لیپ ٹاپ پر چلانے کے لیے کوئی ماڈل ڈاؤن لوڈ کیا ہے تو وہ غالباً `.gguf` پر ختم ہونے والی فائل تھی۔

## یہ کیسے کام کرتا ہے

ggml کی تفصیلات GGUF کو GGML اور GGML پر مبنی ایگزیکیوٹرز پر انفرینس کے لیے ماڈلز محفوظ کرنے والا بائنری فارمیٹ بتاتی ہیں، جو تیز لوڈنگ اور سیونگ کے لیے بنا ہے۔ اس نے پرانے GGML، GGMF اور GGJT فارمیٹس کی جگہ لی۔ اس کے اعلان کردہ اہداف میں یہ شامل ہیں:

-   **ایک فائل۔** ماڈل کو کسی اضافی فائل کے بغیر شیئر اور لوڈ کیا جا سکتا ہے۔
-   **mmap کے ساتھ ہم آہنگ۔** رن ٹائم ویٹس کو کاپی کرنے کے بجائے میموری میپ کر سکتا ہے۔
-   **قابلِ توسیع۔** پرانے ماڈلز توڑے بغیر نیا میٹا ڈیٹا شامل کیا جا سکتا ہے۔
-   **مکمل معلومات۔** ماڈل لوڈ کرنے کے لیے جو کچھ چاہیے، سب فائل میں ہے۔

GGUF فائل میں ایک ہیڈر (میجک نمبر، فارمیٹ ورژن، ٹینسرز اور میٹا ڈیٹا کی تعداد)، قسم والے میٹا ڈیٹا key-value جوڑے، ٹینسرز کے نام، شکلیں، اقسام اور آفسیٹس کا جدول، ایک الائنمنٹ حد تک پیڈنگ (ڈیفالٹ 32 بائٹس)، اور پھر ٹینسر ڈیٹا ہوتا ہے۔

فائلوں کے نام ایک روایت کے مطابق ہوتے ہیں۔ تفصیلات کی مثال `Mixtral-8x7B-v0.1-KQ2.gguf` بیس نام، سائز لیبل (7B کے آٹھ ایکسپرٹس، دیکھیں [مکسچر آف ایکسپرٹس](https://broadrouter.com/ur/glossary/mixture-of-experts/))، ورژن اور انکوڈنگ میں تقسیم ہوتی ہے۔

زیادہ تر GGUF فائلیں [کوانٹائزڈ](https://broadrouter.com/ur/glossary/quantization/) ہوتی ہیں۔ Hugging Face کا جدول عام اقسام درج کرتا ہے:

| قسم | بٹس فی ویٹ | نوٹس |
| --- | --- | --- |
| Q8\_0 | 8 | پرانا round-to-nearest، 32 ویٹ کے بلاکس |
| Q6\_K | 6.5625 | k-quant سپر بلاکس |
| Q5\_K | 5.5 | k-quant سپر بلاکس |
| Q4\_K | 4.5 | k-quant سپر بلاکس |
| IQ4\_XS | 4.25 | امپورٹنس میٹرکس استعمال کرتا ہے |
| Q2\_K | 2.625 | k-quant سپر بلاکس |

## یہ کیوں اہم ہے

-   **مقامی اور ایج استعمال۔** Hugging Face llama.cpp، LM Studio، GPT4All اور Ollama کو GGUF استعمال کرنے والے ٹولز بتاتا ہے۔ CPU، Mac یا ایک کنزیومر GPU پر [اوپن ویٹ ماڈل](https://broadrouter.com/ur/glossary/open-weight-model/) چلانے کا یہ عام راستہ ہے۔
-   **ٹوکنائزر ویٹس کے ساتھ چلتا ہے۔** میٹا ڈیٹا فائل ہی میں ہونے کی وجہ سے، تبدیلی (conversion) میں غلط یا غائب [چیٹ ٹیمپلیٹ](https://broadrouter.com/ur/glossary/chat-template/) یا [ٹوکنائزر](https://broadrouter.com/ur/glossary/tokenizer/) سیٹنگ آؤٹ پٹ کا معیار بدل سکتی ہے۔
-   **معیار کوانٹ کی قسم پر منحصر ہے۔** ایک ہی ماڈل کی Q2 فائل اور Q8 فائل عملاً ایک جیسا ماڈل نہیں ہیں۔ برابر والوں کا ہی موازنہ کریں۔
-   **GPU سرونگ فارمیٹس سے مختلف۔** [vLLM](https://broadrouter.com/ur/glossary/vllm/) جیسے سرور انجن GGUF کو سپورٹڈ فارمیٹس میں گنتے ہیں، لیکن پروڈکشن GPU سرونگ میں زیادہ تر [AWQ](https://broadrouter.com/ur/glossary/awq/) یا FP8 جیسے فارمیٹس استعمال ہوتے ہیں۔

## BroadNet Inference پر

BroadNet کا API ماڈلز HTTP پر سرو کرتا ہے؛ یہ GGUF فائلیں نہیں دیتا، اور آپ کو کبھی خود ویٹس لوڈ نہیں کرنے پڑتے۔ BroadNet کا کیٹلاگ بتاتا ہے کہ اس نے اپنی لیب میں [Qwen3.8 27B](https://broadrouter.com/ur/models/qwen3.8-27b/) کو llama.cpp پر GGUF Q4\_K\_M کی شکل میں، وژن پروجیکٹر اور ملٹی ٹوکن پریڈکشن ڈرافٹر کے ساتھ چلایا ہے، اور ساتھ ہی AMD ROCm کے لیے vLLM پر AWQ INT4 بلڈ بھی۔ یہ نہیں بتایا گیا کہ عوامی API کون سا فارمیٹ سرو کرتا ہے۔ اگر آپ مقامی GGUF سیٹ اپ اور API کے درمیان فیصلہ کر رہے ہیں تو [سیلف ہوسٹنگ بمقابلہ API لاگت گائیڈ](https://broadrouter.com/ur/blog/self-hosting-llm-vs-api-cost/) اور [اوپن ویٹ بمقابلہ کلوزڈ ماڈلز](https://broadrouter.com/ur/blog/open-weight-vs-closed-models/) فوائد اور نقصانات بتاتے ہیں۔

## عام سوالات

### Q4\_K جیسے نام کا کیا مطلب ہے؟

یہ کوانٹائزیشن کی قسم ہے۔ Hugging Face کا جدول Q4\_K کو 4 بٹ کوانٹائزیشن بتاتا ہے، جس میں 32 ویٹس کے 8 بلاکس والے سپر بلاکس ہوتے ہیں، تقریباً 4.5 بٹس فی ویٹ۔ کم بٹس کم میموری لیتے ہیں اور عموماً معیار زیادہ گھٹاتے ہیں۔

### کیا میں GGUF ماڈل کو OpenAI API فارمیٹ سے کال کر سکتا ہوں؟

فائل کو براہِ راست نہیں۔ آپ اسے llama.cpp کے سرور، Ollama یا LM Studio جیسے رن ٹائم میں لوڈ کرتے ہیں، اور وہی رن ٹائم اسے سرو کرتا ہے۔ وہ کون سا API دیتا ہے، اس کے لیے رن ٹائم کی دستاویزات دیکھیں۔

### کیا GGUF اور safetensors ایک ہی ہیں؟

نہیں۔ Hugging Face safetensors کو صرف ٹینسرز والا فارمیٹ بتاتا ہے، جبکہ GGUF ایک ہی فائل میں ٹینسرز اور میٹا ڈیٹا کا ایک معیاری مجموعہ، دونوں رکھتا ہے۔

## یہ بھی دیکھیں

-   [کوانٹائزیشن (quantization)](https://broadrouter.com/ur/glossary/quantization/) (اصطلاح)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/ur/glossary/awq/) (اصطلاح)
-   [INT4 (4 بٹ کوانٹائزیشن)](https://broadrouter.com/ur/glossary/int4/) (اصطلاح)
-   [اوپن ویٹ ماڈل (open-weight model)](https://broadrouter.com/ur/glossary/open-weight-model/) (اصطلاح)
-   [ٹوکنائزر (tokenizer)](https://broadrouter.com/ur/glossary/tokenizer/) (اصطلاح)
-   [vLLM](https://broadrouter.com/ur/glossary/vllm/) (اصطلاح)
-   [LLM خود ہوسٹ کریں یا API لیں: اصل لاگت اور بریک ایون](https://broadrouter.com/ur/blog/self-hosting-llm-vs-api-cost/) (مضمون)
-   [کاروبار کے لیے open-weight بمقابلہ closed AI ماڈلز: لاگت، کنٹرول، خطرہ](https://broadrouter.com/ur/blog/open-weight-vs-closed-models/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-gguf&utm_content=page-cta) ·

**ذرائع**

-   [ggml پروجیکٹ، GGUF تفصیلات، docs/gguf.md (2026-11-15 کو جانچا گیا)](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Hugging Face Hub دستاویزات، GGUF (کوانٹائزیشن اقسام کا جدول) (2026-11-15 کو جانچا گیا)](https://huggingface.co/docs/hub/gguf)
-   [BroadNet ماڈل کیٹلاگ: لیب میں سرونگ کنفیگریشنز (2026-11-15 کو جانچا گیا) (انگریزی میں)](https://www.broadnet.ai/inference/models)
