BroadRouter

GGUF

Mis à jour

Le GGUF est un format de fichier binaire qui stocke des modèles de langage pour l’inférence avec des runtimes basés sur GGML comme llama.cpp. Un fichier GGUF contient les poids, souvent quantifiés, ainsi que les métadonnées nécessaires au chargement, dont le tokenizer et l’architecture, et peut être mappé en mémoire pour un chargement rapide.

Aussi appelé : GGUF, fichier GGUF, format GGUF, modèle GGUF, format llama.cpp, GGUF file, GGUF format, llama.cpp format

Si vous avez déjà téléchargé un modèle pour le faire tourner sur un ordinateur portable, c’était probablement un fichier se terminant par .gguf.

Comment ça marche

La spécification ggml décrit le GGUF comme un format binaire de stockage de modèles pour l’inférence avec GGML et les exécuteurs basés sur GGML, conçu pour un chargement et un enregistrement rapides. Il a remplacé les anciens formats GGML, GGMF et GGJT. Ses objectifs déclarés incluent :

  • Un seul fichier. Un modèle peut être partagé et chargé sans fichier supplémentaire.
  • Compatible mmap. Le runtime peut mapper les poids en mémoire au lieu de les copier.
  • Extensible. On peut ajouter de nouvelles métadonnées sans casser les modèles plus anciens.
  • Information complète. Tout ce qu’il faut pour charger le modèle se trouve dans le fichier.

Un fichier GGUF comprend un en-tête (un nombre magique, la version du format, le nombre de tenseurs et de métadonnées), des paires clé-valeur de métadonnées typées, une table des noms, formes, types et offsets des tenseurs, un remplissage jusqu’à une limite d’alignement (32 octets par défaut), puis les données des tenseurs.

Les noms de fichiers suivent une convention. L’exemple de la spécification, Mixtral-8x7B-v0.1-KQ2.gguf, se décompose en nom de base, libellé de taille (huit experts de 7B, voir mixture of experts), version et encodage.

La plupart des fichiers GGUF sont quantifiés. Le tableau de Hugging Face liste les types courants :

Type Bits par poids Remarques
Q8_0 8 Arrondi au plus proche classique, blocs de 32 poids
Q6_K 6,5625 Super-blocs k-quant
Q5_K 5,5 Super-blocs k-quant
Q4_K 4,5 Super-blocs k-quant
IQ4_XS 4,25 Utilise une matrice d’importance
Q2_K 2,625 Super-blocs k-quant

Pourquoi c’est important

  • Usage local et en périphérie. Hugging Face cite llama.cpp, LM Studio, GPT4All et Ollama parmi les outils qui utilisent le GGUF. C’est la voie habituelle pour faire tourner un modèle open-weight sur un CPU, un Mac ou un seul GPU grand public.
  • Le tokenizer voyage avec les poids. Comme les métadonnées sont dans le fichier, un chat template ou un réglage de tokenizer erroné ou manquant lors d’une conversion peut modifier la qualité des sorties.
  • La qualité dépend du type de quant. Un fichier Q2 et un fichier Q8 du même modèle ne sont pas, en pratique, le même modèle. Comparez ce qui est comparable.
  • Différent des formats de service sur GPU. Des moteurs de service comme vLLM listent le GGUF parmi les formats pris en charge, mais le service en production sur GPU utilise plus souvent des formats comme AWQ ou FP8.

Sur BroadNet Inference

L’API de BroadNet sert les modèles via HTTP ; elle ne distribue pas de fichiers GGUF et vous ne chargez jamais de poids vous-même. Le catalogue de BroadNet indique qu’en laboratoire, BroadNet a fait tourner Qwen3.8 27B en GGUF Q4_K_M avec un projecteur de vision et un drafter de prédiction multi-token sur llama.cpp, en parallèle d’un build AWQ INT4 sur vLLM pour AMD ROCm. Il ne précise pas quel format sert l’API publique. Si vous comparez une installation GGUF locale à une API, le guide des coûts auto-hébergement ou API et modèles open-weight ou fermés détaillent les compromis.

Questions fréquentes

Que signifie un nom comme Q4_K ?

C’est le type de quantification. Le tableau de Hugging Face décrit Q4_K comme une quantification 4 bits en super-blocs de 8 blocs de 32 poids, soit environ 4,5 bits par poids. Moins de bits, c’est moins de mémoire et en général plus de perte de qualité.

Peut-on appeler un modèle GGUF avec le format d’API OpenAI ?

Pas le fichier lui-même. Vous le chargez dans un runtime comme le serveur de llama.cpp, Ollama ou LM Studio, et c’est ce runtime qui le sert. Consultez sa documentation pour savoir quelle API il expose.

Le GGUF est-il la même chose que safetensors ?

Non. Hugging Face décrit safetensors comme un format limité aux tenseurs, alors que le GGUF encode à la fois les tenseurs et un ensemble standardisé de métadonnées dans un seul fichier.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity