---
title: "Что такое GGUF? Формат моделей llama.cpp простыми словами"
description: "GGUF — однофайловый формат моделей для llama.cpp, Ollama и LM Studio. Что лежит внутри файла GGUF и как читать названия квантов вроде Q4_K."
url: https://broadrouter.com/ru/glossary/gguf/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/gguf/) (обновлён 2026-11-15).

# GGUF

Обновлено 2026-11-15

GGUF — это бинарный формат файлов для хранения языковых моделей и инференса в средах на базе GGML, таких как llama.cpp. Один файл GGUF содержит веса, часто квантизированные, и метаданные для загрузки модели, включая токенизатор и параметры архитектуры; его можно отобразить в память (mmap) для быстрой загрузки.

Также называют: GGUF, файл GGUF, формат GGUF, модель GGUF, формат llama.cpp, GGUF file, GGUF format, llama.cpp format

Если вы скачивали модель, чтобы запустить её на ноутбуке, это наверняка был файл с расширением `.gguf`.

## Как это работает

Спецификация ggml описывает GGUF как бинарный формат для хранения моделей для инференса в GGML и средах на его основе, рассчитанный на быструю загрузку и сохранение. Он пришёл на смену более старым форматам GGML, GGMF и GGJT. Среди заявленных целей:

-   **Один файл.** Модель можно передавать и загружать без дополнительных файлов.
-   **Совместимость с mmap.** Среда выполнения может отображать веса в память вместо копирования.
-   **Расширяемость.** Новые метаданные можно добавлять, не ломая старые модели.
-   **Полнота информации.** Всё, что нужно для загрузки модели, находится в файле.

Файл GGUF состоит из заголовка (магическое число, версия формата, число тензоров и метаданных), типизированных пар «ключ — значение» с метаданными, таблицы с именами, формами, типами и смещениями тензоров, выравнивающего заполнения (по умолчанию до границы 32 байта) и затем данных тензоров.

Имена файлов следуют соглашению. Пример из спецификации `Mixtral-8x7B-v0.1-KQ2.gguf` раскладывается на базовое имя, метку размера (восемь экспертов по 7B, см. [смесь экспертов](https://broadrouter.com/ru/glossary/mixture-of-experts/)), версию и кодировку.

Большинство файлов GGUF [квантизированы](https://broadrouter.com/ru/glossary/quantization/). Таблица Hugging Face перечисляет распространённые типы:

| Тип | Битов на вес | Примечания |
| --- | --- | --- |
| Q8\_0 | 8 | Устаревшее округление к ближайшему, блоки по 32 веса |
| Q6\_K | 6,5625 | Суперблоки k-quant |
| Q5\_K | 5,5 | Суперблоки k-quant |
| Q4\_K | 4,5 | Суперблоки k-quant |
| IQ4\_XS | 4,25 | Использует матрицу важности |
| Q2\_K | 2,625 | Суперблоки k-quant |

## Почему это важно

-   **Локальный запуск и периферийные устройства.** Hugging Face называет llama.cpp, LM Studio, GPT4All и Ollama среди инструментов, которые используют GGUF. Это привычный способ запустить [модель с открытыми весами](https://broadrouter.com/ru/glossary/open-weight-model/) на CPU, на Mac или на одной потребительской видеокарте.
-   **Токенизатор едет вместе с весами.** Поскольку метаданные лежат в файле, неверный или отсутствующий [шаблон чата](https://broadrouter.com/ru/glossary/chat-template/) или неверная настройка [токенизатора](https://broadrouter.com/ru/glossary/tokenizer/) при конвертации могут изменить качество ответов.
-   **Качество зависит от типа кванта.** Файл Q2 и файл Q8 одной и той же модели на практике — разные модели. Сравнивайте сопоставимое.
-   **Это не формат для обслуживания на GPU.** Серверные движки вроде [vLLM](https://broadrouter.com/ru/glossary/vllm/) указывают GGUF среди поддерживаемых форматов, но в продакшене на GPU чаще используют такие форматы, как [AWQ](https://broadrouter.com/ru/glossary/awq/) или FP8.

## В BroadNet Inference

API BroadNet обслуживает модели по HTTP; он не раздаёт файлы GGUF, и загружать веса самостоятельно вам не нужно. Каталог BroadNet сообщает, что в своей лаборатории она запускала [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/) в виде GGUF Q4\_K\_M с визуальным проектором и драфтером для предсказания нескольких токенов (multi-token prediction) на llama.cpp, а также сборку AWQ INT4 на vLLM для AMD ROCm. Какой формат обслуживает публичный API, не указано. Если вы сравниваете локальную установку GGUF с API, компромиссы разобраны в [руководстве по стоимости собственного хостинга и API](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/) и в статье [открытые и закрытые модели](https://broadrouter.com/ru/blog/open-weight-vs-closed-models/).

## Вопросы и ответы

### Что означает название вроде Q4\_K?

Это тип квантизации. Таблица Hugging Face описывает Q4\_K как 4-битную квантизацию в суперблоках из 8 блоков по 32 веса, около 4,5 бита на вес. Меньше битов — меньше памяти и обычно больше потерь в качестве.

### Можно ли обращаться к модели GGUF через формат OpenAI API?

Не к самому файлу. Его загружают в среду выполнения, например в сервер llama.cpp, Ollama или LM Studio, и уже она обслуживает модель. Какой API она предоставляет, смотрите в её документации.

### GGUF — это то же самое, что safetensors?

Нет. Hugging Face описывает safetensors как формат только для тензоров, а GGUF хранит в одном файле и тензоры, и стандартизированный набор метаданных.

## См. также

-   [Квантизация (quantization)](https://broadrouter.com/ru/glossary/quantization/) (термин)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/ru/glossary/awq/) (термин)
-   [INT4](https://broadrouter.com/ru/glossary/int4/) (термин)
-   [Модель с открытыми весами (open-weight model)](https://broadrouter.com/ru/glossary/open-weight-model/) (термин)
-   [Токенизатор (tokenizer)](https://broadrouter.com/ru/glossary/tokenizer/) (термин)
-   [vLLM](https://broadrouter.com/ru/glossary/vllm/) (термин)
-   [Своя LLM на GPU или API: реальная стоимость и точка окупаемости](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/) (статья)
-   [Открытые или закрытые модели ИИ для бизнеса: цена, контроль, риски](https://broadrouter.com/ru/blog/open-weight-vs-closed-models/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-gguf&utm_content=page-cta) ·

**Источники**

-   [Проект ggml, спецификация GGUF, docs/gguf.md (дата обращения 2026-11-15)](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Документация Hugging Face Hub, GGUF (таблица типов квантизации) (дата обращения 2026-11-15)](https://huggingface.co/docs/hub/gguf)
-   [Каталог моделей BroadNet: лабораторные конфигурации обслуживания (дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/inference/models)
