---
title: "GGUF とは？llama.cpp のモデルファイル形式を解説 | BroadRouter"
description: "GGUF は、llama.cpp や Ollama、LM Studio などのツールが使う単一ファイルのモデル形式です。GGUF ファイルの中身と、Q4_K のような量子化名の読み方を解説します。"
url: https://broadrouter.com/ja/glossary/gguf/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/glossary/gguf/)（2026-11-15 更新）。

# GGUF

更新日 2026-11-15

GGUF とは、llama.cpp など GGML ベースのランタイムで推論するための言語モデルのバイナリファイル形式です。1 ファイルに重み（多くは量子化済み）と、トークナイザーやアーキテクチャなど読み込みに必要なメタデータが入り、メモリマップで高速に読み込めます。

別名： GGUF ファイル、GGUF 形式、GGUF モデル、GGUF 量子化、llama.cpp 形式、GGUF file、GGUF format、llama.cpp format

ノートパソコンで動かすためにモデルをダウンロードしたことがあるなら、それはおそらく `.gguf` で終わるファイルだったはずです。

## 仕組み

ggml の仕様は、GGUF を GGML および GGML ベースの実行環境で推論するためにモデルを保存するバイナリ形式と説明しており、高速な読み込みと保存を目指して設計されています。以前の GGML、GGMF、GGJT 形式を置き換えるものです。掲げられている目標は次のとおりです。

-   **単一ファイル。** 追加のファイルなしでモデルを共有し、読み込めます。
-   **mmap 対応。** ランタイムは重みをコピーせず、メモリマップできます。
-   **拡張可能。** 古いモデルを壊さずに新しいメタデータを追加できます。
-   **情報が完結している。** モデルの読み込みに必要なものはすべてファイルに入っています。

GGUF ファイルは、ヘッダー（マジックナンバー、形式のバージョン、テンソル数とメタデータ数）、型付きのメタデータのキーと値のペア、テンソルの名前・形状・型・オフセットの表、アラインメント境界までのパディング（デフォルトは 32 バイト）、そしてテンソルデータの順に並んでいます。

ファイル名には命名規則があります。仕様の例 `Mixtral-8x7B-v0.1-KQ2.gguf` は、ベース名、サイズラベル（7B のエキスパートが 8 つ。[混合エキスパート](https://broadrouter.com/ja/glossary/mixture-of-experts/)を参照）、バージョン、エンコーディングに分解できます。

GGUF ファイルの多くは[量子化](https://broadrouter.com/ja/glossary/quantization/)されています。Hugging Face の表に載っている主な種類は次のとおりです。

| 種類 | 重みあたりのビット数 | 備考 |
| --- | --- | --- |
| Q8\_0 | 8 | 従来型の最近接丸め、32 重みのブロック |
| Q6\_K | 6.5625 | k-quant のスーパーブロック |
| Q5\_K | 5.5 | k-quant のスーパーブロック |
| Q4\_K | 4.5 | k-quant のスーパーブロック |
| IQ4\_XS | 4.25 | 重要度行列を使用 |
| Q2\_K | 2.625 | k-quant のスーパーブロック |

## なぜ重要か

-   **ローカルやエッジでの利用。** Hugging Face は、GGUF を使うツールとして llama.cpp、LM Studio、GPT4All、Ollama を挙げています。CPU、Mac、コンシューマー向け GPU 1 枚で[オープンウェイトモデル](https://broadrouter.com/ja/glossary/open-weight-model/)を動かすときの定番の手段です。
-   **トークナイザーが重みと一緒に運ばれる。** メタデータがファイルに入っているため、変換時に[チャットテンプレート](https://broadrouter.com/ja/glossary/chat-template/)や[トークナイザー](https://broadrouter.com/ja/glossary/tokenizer/)の設定が間違っていたり欠けていたりすると、出力の品質が変わることがあります。
-   **品質は量子化の種類で決まる。** 同じモデルでも、Q2 のファイルと Q8 のファイルは実用上は別物です。同じ条件同士で比べてください。
-   **GPU 提供向けの形式とは別物。** [vLLM](https://broadrouter.com/ja/glossary/vllm/) などのサーバーエンジンも対応形式に GGUF を挙げていますが、本番の GPU 提供では [AWQ](https://broadrouter.com/ja/glossary/awq/) や FP8 などの形式のほうがよく使われます。

## BroadNet Inference では

BroadNet の API は HTTP でモデルを提供しており、GGUF ファイルは配布していません。ユーザーが自分で重みを読み込むこともありません。BroadNet のカタログによると、BroadNet はラボで [Qwen3.8 27B](https://broadrouter.com/ja/models/qwen3.8-27b/) を GGUF Q4\_K\_M として、ビジョンプロジェクターとマルチトークン予測のドラフターを付けて llama.cpp で動かし、あわせて AMD ROCm 上の vLLM で AWQ INT4 ビルドも動かしています。公開 API がどの形式で提供されているかは書かれていません。ローカルの GGUF 環境と API を比べているなら、[セルフホストと API のコスト比較](https://broadrouter.com/ja/blog/self-hosting-llm-vs-api-cost/)と[オープンウェイトとクローズドモデルの比較](https://broadrouter.com/ja/blog/open-weight-vs-closed-models/)でトレードオフを解説しています。

## よくある質問

### Q4\_K のような名前は何を意味しますか？

量子化の種類です。Hugging Face の表では、Q4\_K は 32 個の重みからなるブロック 8 つをまとめたスーパーブロック単位の 4 ビット量子化で、重みあたり約 4.5 ビットと説明されています。ビット数が少ないほどメモリは減り、たいてい品質も下がります。

### GGUF モデルを OpenAI API 形式で呼び出せますか？

ファイルそのものはできません。llama.cpp のサーバー、Ollama、LM Studio などのランタイムに読み込み、そのランタイムが提供します。公開される API は、ランタイムのドキュメントで確認してください。

### GGUF と safetensors は同じですか？

いいえ。Hugging Face は safetensors をテンソルだけの形式と説明しています。一方 GGUF は、テンソルと標準化されたメタデータの両方を 1 つのファイルに収めています。

## 関連項目

-   [量子化（quantization）](https://broadrouter.com/ja/glossary/quantization/)（用語）
-   [AWQ（Activation-aware Weight Quantization）](https://broadrouter.com/ja/glossary/awq/)（用語）
-   [INT4（4 ビット量子化）](https://broadrouter.com/ja/glossary/int4/)（用語）
-   [オープンウェイトモデル（open-weight model）](https://broadrouter.com/ja/glossary/open-weight-model/)（用語）
-   [トークナイザー（tokenizer）](https://broadrouter.com/ja/glossary/tokenizer/)（用語）
-   [vLLM](https://broadrouter.com/ja/glossary/vllm/)（用語）
-   [LLM のセルフホストと API：本当のコストと損益分岐点](https://broadrouter.com/ja/blog/self-hosting-llm-vs-api-cost/)（記事）
-   [ビジネスで使うならオープンウェイトかクローズドか：コスト、管理、リスク](https://broadrouter.com/ja/blog/open-weight-vs-closed-models/)（記事）

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-gguf&utm_content=page-cta) ·

**出典**

-   [ggml プロジェクト、GGUF 仕様、docs/gguf.md（2026-11-15 確認）](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Hugging Face Hub ドキュメント、GGUF（量子化タイプの表）（2026-11-15 確認）](https://huggingface.co/docs/hub/gguf)
-   [BroadNet モデルカタログ：ラボでの提供構成（2026-11-15 確認）（英語）](https://www.broadnet.ai/inference/models)
