BroadRouter

GGUF

Обновлено

GGUF — это бинарный формат файлов для хранения языковых моделей и инференса в средах на базе GGML, таких как llama.cpp. Один файл GGUF содержит веса, часто квантизированные, и метаданные для загрузки модели, включая токенизатор и параметры архитектуры; его можно отобразить в память (mmap) для быстрой загрузки.

Также называют: GGUF, файл GGUF, формат GGUF, модель GGUF, формат llama.cpp, GGUF file, GGUF format, llama.cpp format

Если вы скачивали модель, чтобы запустить её на ноутбуке, это наверняка был файл с расширением .gguf.

Как это работает

Спецификация ggml описывает GGUF как бинарный формат для хранения моделей для инференса в GGML и средах на его основе, рассчитанный на быструю загрузку и сохранение. Он пришёл на смену более старым форматам GGML, GGMF и GGJT. Среди заявленных целей:

  • Один файл. Модель можно передавать и загружать без дополнительных файлов.
  • Совместимость с mmap. Среда выполнения может отображать веса в память вместо копирования.
  • Расширяемость. Новые метаданные можно добавлять, не ломая старые модели.
  • Полнота информации. Всё, что нужно для загрузки модели, находится в файле.

Файл GGUF состоит из заголовка (магическое число, версия формата, число тензоров и метаданных), типизированных пар «ключ — значение» с метаданными, таблицы с именами, формами, типами и смещениями тензоров, выравнивающего заполнения (по умолчанию до границы 32 байта) и затем данных тензоров.

Имена файлов следуют соглашению. Пример из спецификации Mixtral-8x7B-v0.1-KQ2.gguf раскладывается на базовое имя, метку размера (восемь экспертов по 7B, см. смесь экспертов), версию и кодировку.

Большинство файлов GGUF квантизированы. Таблица Hugging Face перечисляет распространённые типы:

Тип Битов на вес Примечания
Q8_0 8 Устаревшее округление к ближайшему, блоки по 32 веса
Q6_K 6,5625 Суперблоки k-quant
Q5_K 5,5 Суперблоки k-quant
Q4_K 4,5 Суперблоки k-quant
IQ4_XS 4,25 Использует матрицу важности
Q2_K 2,625 Суперблоки k-quant

Почему это важно

  • Локальный запуск и периферийные устройства. Hugging Face называет llama.cpp, LM Studio, GPT4All и Ollama среди инструментов, которые используют GGUF. Это привычный способ запустить модель с открытыми весами на CPU, на Mac или на одной потребительской видеокарте.
  • Токенизатор едет вместе с весами. Поскольку метаданные лежат в файле, неверный или отсутствующий шаблон чата или неверная настройка токенизатора при конвертации могут изменить качество ответов.
  • Качество зависит от типа кванта. Файл Q2 и файл Q8 одной и той же модели на практике — разные модели. Сравнивайте сопоставимое.
  • Это не формат для обслуживания на GPU. Серверные движки вроде vLLM указывают GGUF среди поддерживаемых форматов, но в продакшене на GPU чаще используют такие форматы, как AWQ или FP8.

В BroadNet Inference

API BroadNet обслуживает модели по HTTP; он не раздаёт файлы GGUF, и загружать веса самостоятельно вам не нужно. Каталог BroadNet сообщает, что в своей лаборатории она запускала Qwen3.8 27B в виде GGUF Q4_K_M с визуальным проектором и драфтером для предсказания нескольких токенов (multi-token prediction) на llama.cpp, а также сборку AWQ INT4 на vLLM для AMD ROCm. Какой формат обслуживает публичный API, не указано. Если вы сравниваете локальную установку GGUF с API, компромиссы разобраны в руководстве по стоимости собственного хостинга и API и в статье открытые и закрытые модели.

Вопросы и ответы

Что означает название вроде Q4_K?

Это тип квантизации. Таблица Hugging Face описывает Q4_K как 4-битную квантизацию в суперблоках из 8 блоков по 32 веса, около 4,5 бита на вес. Меньше битов — меньше памяти и обычно больше потерь в качестве.

Можно ли обращаться к модели GGUF через формат OpenAI API?

Не к самому файлу. Его загружают в среду выполнения, например в сервер llama.cpp, Ollama или LM Studio, и уже она обслуживает модель. Какой API она предоставляет, смотрите в её документации.

GGUF — это то же самое, что safetensors?

Нет. Hugging Face описывает safetensors как формат только для тензоров, а GGUF хранит в одном файле и тензоры, и стандартизированный набор метаданных.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity