Если вы скачивали модель, чтобы запустить её на ноутбуке, это наверняка был файл с расширением .gguf.
Как это работает
Спецификация ggml описывает GGUF как бинарный формат для хранения моделей для инференса в GGML и средах на его основе, рассчитанный на быструю загрузку и сохранение. Он пришёл на смену более старым форматам GGML, GGMF и GGJT. Среди заявленных целей:
- Один файл. Модель можно передавать и загружать без дополнительных файлов.
- Совместимость с mmap. Среда выполнения может отображать веса в память вместо копирования.
- Расширяемость. Новые метаданные можно добавлять, не ломая старые модели.
- Полнота информации. Всё, что нужно для загрузки модели, находится в файле.
Файл GGUF состоит из заголовка (магическое число, версия формата, число тензоров и метаданных), типизированных пар «ключ — значение» с метаданными, таблицы с именами, формами, типами и смещениями тензоров, выравнивающего заполнения (по умолчанию до границы 32 байта) и затем данных тензоров.
Имена файлов следуют соглашению. Пример из спецификации Mixtral-8x7B-v0.1-KQ2.gguf раскладывается на базовое имя, метку размера (восемь экспертов по 7B, см. смесь экспертов), версию и кодировку.
Большинство файлов GGUF квантизированы. Таблица Hugging Face перечисляет распространённые типы:
| Тип | Битов на вес | Примечания |
|---|---|---|
| Q8_0 | 8 | Устаревшее округление к ближайшему, блоки по 32 веса |
| Q6_K | 6,5625 | Суперблоки k-quant |
| Q5_K | 5,5 | Суперблоки k-quant |
| Q4_K | 4,5 | Суперблоки k-quant |
| IQ4_XS | 4,25 | Использует матрицу важности |
| Q2_K | 2,625 | Суперблоки k-quant |
Почему это важно
- Локальный запуск и периферийные устройства. Hugging Face называет llama.cpp, LM Studio, GPT4All и Ollama среди инструментов, которые используют GGUF. Это привычный способ запустить модель с открытыми весами на CPU, на Mac или на одной потребительской видеокарте.
- Токенизатор едет вместе с весами. Поскольку метаданные лежат в файле, неверный или отсутствующий шаблон чата или неверная настройка токенизатора при конвертации могут изменить качество ответов.
- Качество зависит от типа кванта. Файл Q2 и файл Q8 одной и той же модели на практике — разные модели. Сравнивайте сопоставимое.
- Это не формат для обслуживания на GPU. Серверные движки вроде vLLM указывают GGUF среди поддерживаемых форматов, но в продакшене на GPU чаще используют такие форматы, как AWQ или FP8.
В BroadNet Inference
API BroadNet обслуживает модели по HTTP; он не раздаёт файлы GGUF, и загружать веса самостоятельно вам не нужно. Каталог BroadNet сообщает, что в своей лаборатории она запускала Qwen3.8 27B в виде GGUF Q4_K_M с визуальным проектором и драфтером для предсказания нескольких токенов (multi-token prediction) на llama.cpp, а также сборку AWQ INT4 на vLLM для AMD ROCm. Какой формат обслуживает публичный API, не указано. Если вы сравниваете локальную установку GGUF с API, компромиссы разобраны в руководстве по стоимости собственного хостинга и API и в статье открытые и закрытые модели.