---
title: "GGUF nedir? llama.cpp model dosya biçimi | BroadRouter"
description: "GGUF, llama.cpp ile Ollama ve LM Studio gibi araçların kullandığı tek dosyalık model biçimidir. GGUF dosyasının içinde ne var, Q4_K gibi adlar nasıl okunur?"
url: https://broadrouter.com/tr/glossary/gguf/
lang: tr
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/glossary/gguf/) (güncelleme: 2026-11-15).

# GGUF

Güncellendi 2026-11-15

GGUF, dil modellerini llama.cpp gibi GGML tabanlı çalışma ortamlarında çıkarım için saklayan ikili bir dosya biçimidir. Tek bir GGUF dosyası, çoğu zaman kuantize edilmiş ağırlıkları ve modeli yüklemek için gereken tokenizer ve mimari ayrıntıları gibi meta verileri barındırır; hızlı yükleme için belleğe eşlenebilir.

Diğer adları: GGUF, GGUF dosyası, GGUF formatı, GGUF biçimi, llama.cpp formatı, GGUF file, GGUF format, llama.cpp format

Dizüstü bilgisayarda çalıştırmak için bir model indirdiyseniz, büyük olasılıkla `.gguf` uzantılı bir dosyaydı.

## Nasıl çalışır

ggml spesifikasyonu GGUF’u, modelleri GGML ve GGML tabanlı yürütücülerle çıkarım için saklayan, hızlı yükleme ve kaydetme için tasarlanmış ikili bir biçim olarak tanımlar. Eski GGML, GGMF ve GGJT biçimlerinin yerini aldı. Belirtilen hedefleri arasında şunlar var:

-   **Tek dosya.** Bir model ek dosya olmadan paylaşılabilir ve yüklenebilir.
-   **mmap uyumlu.** Çalışma ortamı ağırlıkları kopyalamak yerine belleğe eşleyebilir.
-   **Genişletilebilir.** Eski modelleri bozmadan yeni meta veriler eklenebilir.
-   **Eksiksiz bilgi.** Modeli yüklemek için gereken her şey dosyanın içindedir.

Bir GGUF dosyası bir başlık (sihirli sayı, biçim sürümü, tensör ve meta veri sayıları), türlendirilmiş anahtar-değer meta veri çiftleri, tensör adları, şekilleri, türleri ve ofsetlerinden oluşan bir tablo, bir hizalama sınırına kadar dolgu (varsayılan 32 bayt) ve ardından tensör verilerinden oluşur.

Dosya adları bir kurala uyar. Spesifikasyondaki `Mixtral-8x7B-v0.1-KQ2.gguf` örneği temel ad, boyut etiketi (7B’lik sekiz uzman, bkz. [mixture of experts](https://broadrouter.com/tr/glossary/mixture-of-experts/)), sürüm ve kodlama olarak ayrışır.

GGUF dosyalarının çoğu [kuantize edilmiştir](https://broadrouter.com/tr/glossary/quantization/). Hugging Face’in tablosu yaygın türleri listeler:

| Tür | Ağırlık başına bit | Notlar |
| --- | --- | --- |
| Q8\_0 | 8 | Eski usul en yakına yuvarlama, 32 ağırlıklık bloklar |
| Q6\_K | 6,5625 | k-quant süper blokları |
| Q5\_K | 5,5 | k-quant süper blokları |
| Q4\_K | 4,5 | k-quant süper blokları |
| IQ4\_XS | 4,25 | Bir önem matrisi (importance matrix) kullanır |
| Q2\_K | 2,625 | k-quant süper blokları |

## Neden önemli

-   **Yerel ve uç kullanım.** Hugging Face, GGUF kullanan araçlar olarak llama.cpp, LM Studio, GPT4All ve Ollama’yı listeler. Bir [açık ağırlıklı modeli](https://broadrouter.com/tr/glossary/open-weight-model/) CPU’da, bir Mac’te veya tek bir tüketici GPU’sunda çalıştırmanın olağan yoludur.
-   **Tokenizer ağırlıklarla birlikte gelir.** Meta veriler dosyanın içinde olduğundan, bir dönüştürmedeki yanlış veya eksik bir [sohbet şablonu](https://broadrouter.com/tr/glossary/chat-template/) ya da [tokenizer](https://broadrouter.com/tr/glossary/tokenizer/) ayarı çıktı kalitesini değiştirebilir.
-   **Kalite kuantizasyon türüne bağlıdır.** Aynı modelin Q2 dosyası ile Q8 dosyası pratikte aynı model değildir. Benzerle benzeri karşılaştırın.
-   **GPU sunum biçimlerinden farklıdır.** [vLLM](https://broadrouter.com/tr/glossary/vllm/) gibi sunucu motorları GGUF’u desteklenen biçimler arasında listeler, ancak üretimde GPU ile sunumda daha çok [AWQ](https://broadrouter.com/tr/glossary/awq/) veya FP8 gibi biçimler kullanılır.

## BroadNet Inference’ta

BroadNet’in API’si modelleri HTTP üzerinden sunar; GGUF dosyası dağıtmaz ve ağırlıkları hiçbir zaman kendiniz yüklemezsiniz. BroadNet’in kataloğu, laboratuvarında [Qwen3.8 27B](https://broadrouter.com/tr/models/qwen3.8-27b/) modelini llama.cpp üzerinde bir görsel projektör ve çoklu token tahmini (multi-token prediction) taslakçısıyla GGUF Q4\_K\_M olarak, bunun yanında AMD ROCm için vLLM üzerinde bir AWQ INT4 derlemesiyle çalıştırdığını bildirir. Herkese açık API’yi hangi biçimin sunduğunu söylemez. Yerel bir GGUF kurulumunu bir API ile tartıyorsanız, [kendi barındırma ile API maliyeti rehberi](https://broadrouter.com/tr/blog/self-hosting-llm-vs-api-cost/) ve [açık ağırlıklı ve kapalı modeller](https://broadrouter.com/tr/blog/open-weight-vs-closed-models/) yazısı dengeleri ele alır.

## Sık sorulan sorular

### Q4\_K gibi bir ad ne anlama gelir?

Kuantizasyon türüdür. Hugging Face'in tablosu Q4\_K'yi, 32 ağırlıklık 8 bloktan oluşan süper bloklarda 4 bit kuantizasyon, ağırlık başına yaklaşık 4,5 bit olarak tanımlar. Daha az bit daha az bellek kullanır ve genellikle daha fazla kaliteye mal olur.

### Bir GGUF modelini OpenAI API biçimiyle çağırabilir miyim?

Dosyanın kendisini değil. Dosyayı llama.cpp sunucusu, Ollama veya LM Studio gibi bir çalışma ortamına yüklersiniz, onu da o çalışma ortamı sunar. Sunduğu API için çalışma ortamının belgelerine bakın.

### GGUF, safetensors ile aynı şey mi?

Hayır. Hugging Face safetensors'ı yalnızca tensör içeren bir biçim olarak tanımlar; GGUF ise hem tensörleri hem de standartlaştırılmış bir meta veri kümesini tek dosyada kodlar.

## Ayrıca bakın

-   [Kuantizasyon (quantization)](https://broadrouter.com/tr/glossary/quantization/) (terim)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/tr/glossary/awq/) (terim)
-   [INT4](https://broadrouter.com/tr/glossary/int4/) (terim)
-   [Açık ağırlıklı model (open-weight model)](https://broadrouter.com/tr/glossary/open-weight-model/) (terim)
-   [Tokenizer](https://broadrouter.com/tr/glossary/tokenizer/) (terim)
-   [vLLM](https://broadrouter.com/tr/glossary/vllm/) (terim)
-   [LLM barındırmak mı, API mi: gerçek maliyet ve başa baş noktası](https://broadrouter.com/tr/blog/self-hosting-llm-vs-api-cost/) (yazı)
-   [İşletmeler için açık ağırlıklı ve kapalı yapay zekâ modelleri](https://broadrouter.com/tr/blog/open-weight-vs-closed-models/) (yazı)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-gguf&utm_content=page-cta) ·

**Kaynaklar**

-   [ggml projesi, GGUF spesifikasyonu, docs/gguf.md (kontrol tarihi 2026-11-15)](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Hugging Face Hub belgeleri, GGUF (kuantizasyon türleri tablosu) (kontrol tarihi 2026-11-15)](https://huggingface.co/docs/hub/gguf)
-   [BroadNet model kataloğu: laboratuvar sunum yapılandırmaları (kontrol tarihi 2026-11-15) (İngilizce)](https://www.broadnet.ai/inference/models)
