BroadRouter
始める

知識蒸留(knowledge distillation)

更新日

蒸留(知識蒸留)とは、小さな生徒モデルが大きな教師モデルの出力(確率分布や生成した回答など)を再現するように学習する手法です。生徒モデルは、より低い実行コストで教師モデルの品質の多くを保てます。

別名: 蒸留、モデル蒸留、蒸留モデル、教師生徒学習、知識の蒸留、distillation、knowledge distillation、model distillation、distilled model、teacher-student training

大きなモデルは提供にコストがかかります。蒸留は、大きなモデルが知っていることを小さなモデルに移します。

仕組み

現在の形の蒸留は、2015 年に Hinton、Vinyals、Dean が示しました。教師モデルの出力確率が、生徒モデルにとっての「ソフトターゲット」(soft targets)になります。普通のラベルは「これは 7」としか言いません。教師モデルの確率なら、少しだけ 1 に似ていて、4 にはまったく似ていないことまで伝わります。この追加の手がかりが生徒モデルの学習を助けます。

それを引き出すために、softmax の temperature を上げます。論文によれば、T を高くすると “produces a softer probability distribution over classes”(訳:クラス間でより滑らかな確率分布になる)。MNIST での結果は次のとおりです。

モデル テストの誤り数
大きな教師ネットワーク 67
小さなネットワーク、ラベルのみで学習 146
同じ小さなネットワーク、T = 20 で蒸留 74

LLM の蒸留では、確率の代わりに生成テキストを使うことがよくあります。教師モデルが回答を書き、生徒モデルをその回答でファインチューニングします。DeepSeek-R1 の論文は、大きなモデルの推論パターンが小さなモデルの手本になると報告しています。そのモデルカードには、パラメーター数 1.5B から 70B までの蒸留モデルが 6 つ掲載されており、Qwen2.5 と Llama をベースに、DeepSeek-R1 が生成した推論データでファインチューニングされています。

なぜ重要か

  • コストと速度。 小さなモデルは GPU メモリが少なくて済み、生成も速いため、トークン単価やレイテンシに表れます。
  • 得意分野が狭い。 生徒モデルは学習した分野では強く、それ以外では弱くなります。教師モデルのベンチマークを信じるのではなく、ご自身のタスクでテストしてください。
  • 組み合わせ。 セルフホスト環境では、蒸留を量子化や LoRA と組み合わせられます。
  • ライセンス。 教師モデルの出力で学習してよいかどうかは、そのライセンスや API 利用規約で決まります。

BroadNet Inference では

BroadNet の API リファレンスには、どのモデルが蒸留されたものかは書かれていないので、そうだと決めつけないでください。ただ、モデル間の料金差を見ると小さなモデルの意義がわかります。BroadNet Gemma 4 VL 26B は出力 100 万トークンあたり $0.22、GLM 5.3 は $3.46 です。小さなモデルで十分かどうかは、ご自身の評価で判断してください。コーディングエージェントに最適なオープンモデルの記事では、タスク別に選択肢を比較しています。

よくある質問

蒸留と量子化の違いは何ですか?

蒸留は新しい、より小さなモデルを学習します。量子化は同じモデルのまま、重みを低い精度で保存します。どちらも推論を安くでき、組み合わせることもできます。

蒸留したモデルは教師モデルと同じくらい優秀ですか?

すべてのタスクでそうなるわけではありませんが、蒸留の対象にしたタスクでは近い性能を出せます。Hinton、Vinyals、Dean による MNIST の実験では、蒸留した小さなネットワークの誤りは 74 件で、教師モデルは 67 件でした。

ほかの事業者のモデルを蒸留してもよいですか?

出力を学習に使う前に、教師モデルのライセンスや API 利用規約を読んでください。この点の扱いは規約によって異なり、制限しているものもあります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く