Wenn Sie schon einmal ein Modell heruntergeladen haben, um es auf dem Laptop laufen zu lassen, war es wahrscheinlich eine Datei mit der Endung .gguf.
So funktioniert es
Die ggml-Spezifikation beschreibt GGUF als binäres Format, in dem Modelle für die Inferenz mit GGML und GGML-basierten Ausführungsumgebungen gespeichert werden, ausgelegt auf schnelles Laden und Speichern. Es löste die älteren Formate GGML, GGMF und GGJT ab. Zu den erklärten Zielen gehören:
- Eine Datei. Ein Modell lässt sich ohne zusätzliche Dateien weitergeben und laden.
- mmap-kompatibel. Die Runtime kann die Gewichte per Memory-Mapping einbinden, statt sie zu kopieren.
- Erweiterbar. Neue Metadaten lassen sich ergänzen, ohne ältere Modelle zu brechen.
- Vollständige Information. Alles, was zum Laden des Modells nötig ist, steckt in der Datei.
Eine GGUF-Datei besteht aus einem Header (eine Magic Number, die Formatversion, die Zahl der Tensoren und Metadaten), typisierten Metadaten als Schlüssel-Wert-Paare, einer Tabelle mit Namen, Formen, Typen und Offsets der Tensoren, Padding bis zu einer Ausrichtungsgrenze (standardmäßig 32 Bytes) und schließlich den Tensordaten.
Dateinamen folgen einer Konvention. Das Beispiel Mixtral-8x7B-v0.1-KQ2.gguf aus der Spezifikation zerfällt in Basisname, Größenangabe (acht Experten zu je 7B, siehe Mixture of Experts), Version und Kodierung.
Die meisten GGUF-Dateien sind quantisiert. Die Tabelle von Hugging Face listet die gängigen Typen:
| Typ | Bits pro Gewicht | Hinweise |
|---|---|---|
| Q8_0 | 8 | Klassisches Runden auf den nächsten Wert, Blöcke mit 32 Gewichten |
| Q6_K | 6,5625 | K-Quant-Superblöcke |
| Q5_K | 5,5 | K-Quant-Superblöcke |
| Q4_K | 4,5 | K-Quant-Superblöcke |
| IQ4_XS | 4,25 | Nutzt eine Importance-Matrix |
| Q2_K | 2,625 | K-Quant-Superblöcke |
Warum es wichtig ist
- Lokaler Einsatz und Edge. Hugging Face nennt llama.cpp, LM Studio, GPT4All und Ollama als Tools, die GGUF nutzen. Es ist der übliche Weg, ein Open-Weight-Modell auf einer CPU, einem Mac oder einer einzelnen Consumer-GPU laufen zu lassen.
- Der Tokenizer reist mit den Gewichten. Weil die Metadaten in der Datei stecken, kann ein falsches oder fehlendes Chat-Template oder eine falsche Tokenizer-Einstellung bei einer Konvertierung die Output-Qualität verändern.
- Die Qualität hängt vom Quant-Typ ab. Eine Q2- und eine Q8-Datei desselben Modells sind in der Praxis nicht dasselbe Modell. Vergleichen Sie Gleiches mit Gleichem.
- Anders als GPU-Serving-Formate. Server-Engines wie vLLM führen GGUF unter den unterstützten Formaten, aber für GPU-Serving in Produktion werden häufiger Formate wie AWQ oder FP8 genutzt.
Bei BroadNet Inference
Die API von BroadNet stellt Modelle über HTTP bereit; sie gibt keine GGUF-Dateien heraus, und Sie laden nie selbst Gewichte. Laut Katalog hat BroadNet im Labor Qwen3.8 27B als GGUF Q4_K_M mit einem Vision-Projektor und einem Multi-Token-Prediction-Drafter auf llama.cpp betrieben, neben einem AWQ-INT4-Build auf vLLM für AMD ROCm. Welches Format die öffentliche API bedient, sagt er nicht. Wenn Sie ein lokales GGUF-Setup gegen eine API abwägen, behandeln der Kostenvergleich Self-Hosting vs. API und Open-Weight- vs. geschlossene Modelle die Abwägungen.