---
title: "モデルの蒸留とは？LLM の教師モデルと生徒モデル | BroadRouter"
description: "蒸留は、小さな生徒モデルに大きな教師モデルを模倣させて学習し、安く動かせるようにする手法です。ソフトターゲットの仕組みと、蒸留版の推論モデルの作り方を解説します。"
url: https://broadrouter.com/ja/glossary/distillation/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/distillation/) (2026-11-16 更新).

# 知識蒸留（knowledge distillation）

更新日 2026-11-16

蒸留（知識蒸留）とは、小さな生徒モデルが大きな教師モデルの出力（確率分布や生成した回答など）を再現するように学習する手法です。生徒モデルは、より低い実行コストで教師モデルの品質の多くを保てます。

別名： 蒸留、モデル蒸留、蒸留モデル、教師生徒学習、知識の蒸留、distillation、knowledge distillation、model distillation、distilled model、teacher-student training

大きなモデルは提供にコストがかかります。蒸留は、大きなモデルが知っていることを小さなモデルに移します。

## 仕組み

現在の形の蒸留は、2015 年に Hinton、Vinyals、Dean が示しました。教師モデルの出力確率が、生徒モデルにとっての「ソフトターゲット」（soft targets）になります。普通のラベルは「これは 7」としか言いません。教師モデルの確率なら、少しだけ 1 に似ていて、4 にはまったく似ていないことまで伝わります。この追加の手がかりが生徒モデルの学習を助けます。

それを引き出すために、softmax の [temperature](https://broadrouter.com/ja/glossary/temperature/) を上げます。論文によれば、T を高くすると “produces a softer probability distribution over classes”（訳：クラス間でより滑らかな確率分布になる）。MNIST での結果は次のとおりです。

| モデル | テストの誤り数 |
| --- | --- |
| 大きな教師ネットワーク | 67 |
| 小さなネットワーク、ラベルのみで学習 | 146 |
| 同じ小さなネットワーク、T = 20 で蒸留 | 74 |

LLM の蒸留では、確率の代わりに生成テキストを使うことがよくあります。教師モデルが回答を書き、生徒モデルをその回答で[ファインチューニング](https://broadrouter.com/ja/glossary/fine-tuning/)します。DeepSeek-R1 の論文は、大きなモデルの推論パターンが小さなモデルの手本になると報告しています。そのモデルカードには、パラメーター数 1.5B から 70B までの蒸留モデルが 6 つ掲載されており、Qwen2.5 と Llama をベースに、DeepSeek-R1 が生成した推論データでファインチューニングされています。

## なぜ重要か

-   **コストと速度。** 小さなモデルは GPU メモリが少なくて済み、生成も速いため、トークン単価やレイテンシに表れます。
-   **得意分野が狭い。** 生徒モデルは学習した分野では強く、それ以外では弱くなります。教師モデルのベンチマークを信じるのではなく、ご自身のタスクでテストしてください。
-   **組み合わせ。** セルフホスト環境では、蒸留を[量子化](https://broadrouter.com/ja/glossary/quantization/)や [LoRA](https://broadrouter.com/ja/glossary/lora/) と組み合わせられます。
-   **ライセンス。** 教師モデルの出力で学習してよいかどうかは、そのライセンスや API 利用規約で決まります。

## BroadNet Inference では

BroadNet の [API リファレンス](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-distillation&utm_content=body#models)には、どのモデルが蒸留されたものかは書かれていないので、そうだと決めつけないでください。ただ、モデル間の料金差を見ると小さなモデルの意義がわかります。BroadNet Gemma 4 VL 26B は出力 100 万トークンあたり $0.22、GLM 5.3 は $3.46 です。小さなモデルで十分かどうかは、ご自身の評価で判断してください。[コーディングエージェントに最適なオープンモデル](https://broadrouter.com/ja/blog/best-open-model-for-coding-agents/)の記事では、タスク別に選択肢を比較しています。

## よくある質問

### 蒸留と量子化の違いは何ですか？

蒸留は新しい、より小さなモデルを学習します。量子化は同じモデルのまま、重みを低い精度で保存します。どちらも推論を安くでき、組み合わせることもできます。

### 蒸留したモデルは教師モデルと同じくらい優秀ですか？

すべてのタスクでそうなるわけではありませんが、蒸留の対象にしたタスクでは近い性能を出せます。Hinton、Vinyals、Dean による MNIST の実験では、蒸留した小さなネットワークの誤りは 74 件で、教師モデルは 67 件でした。

### ほかの事業者のモデルを蒸留してもよいですか？

出力を学習に使う前に、教師モデルのライセンスや API 利用規約を読んでください。この点の扱いは規約によって異なり、制限しているものもあります。

## 関連項目

-   [ファインチューニング（fine-tuning）](https://broadrouter.com/ja/glossary/fine-tuning/) (用語)
-   [LoRA（Low-Rank Adaptation）](https://broadrouter.com/ja/glossary/lora/) (用語)
-   [量子化（quantization）](https://broadrouter.com/ja/glossary/quantization/) (用語)
-   [temperature（温度）](https://broadrouter.com/ja/glossary/temperature/) (用語)
-   [オープンウェイトモデル（open-weight model）](https://broadrouter.com/ja/glossary/open-weight-model/) (用語)
-   [推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/) (ガイド)
-   [ビジネスで使うならオープンウェイトかクローズドか：コスト、管理、リスク](https://broadrouter.com/ja/blog/open-weight-vs-closed-models/) (記事)
-   [コーディングエージェントに最適なオープンモデル：ツール、コンテキスト、コストで選ぶ](https://broadrouter.com/ja/blog/best-open-model-for-coding-agents/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-distillation&utm_content=page-cta) ·

**出典**

-   [Hinton、Vinyals、Dean（2015）、Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI（2025）、DeepSeek-R1 論文](https://arxiv.org/abs/2501.12948)
-   [Hugging Face の DeepSeek-R1 モデルカード（蒸留モデル）](https://huggingface.co/deepseek-ai/DeepSeek-R1)
