BroadRouter
开始使用

知识蒸馏(knowledge distillation)

更新于

蒸馏(知识蒸馏)是一种训练方法:让较小的学生模型学习复现较大教师模型的输出,例如其概率分布或生成的回答,使学生模型以更低的运行成本保留教师模型的大部分质量。

又称: 模型蒸馏、蒸馏、蒸馏模型、教师学生模型、师生训练、distillation、knowledge distillation、model distillation、distilled model、teacher-student training

大模型的部署成本很高。蒸馏把大模型掌握的知识转移到小模型里。

工作原理

Hinton、Vinyals 和 Dean 在 2015 年描述了现代形式的蒸馏。教师模型的输出概率成为学生模型的“软目标”(soft targets)。普通标签只会说“这是 7”。而教师模型的概率还会告诉你:它有一点像 1,完全不像 4。这些额外信号能帮助学生模型学习。

为了把这些信号显露出来,他们调高 softmax 的温度。论文指出,更高的 T “produces a softer probability distribution over classes”(译文:会在各类别上产生更平滑的概率分布)。他们在 MNIST 上的结果:

模型 测试错误数
大型教师网络 67
小网络,只用标签训练 146
同一个小网络,在 T = 20 下蒸馏 74

对于大模型,蒸馏常常使用生成的文本而不是概率。教师模型写出回答,学生模型在这些回答上微调。DeepSeek-R1 论文报告,大模型的推理模式可以指导较小的模型。其模型卡列出了六个蒸馏模型,参数从 1.5B 到 70B,基于 Qwen2.5 和 Llama 基座,并在 DeepSeek-R1 生成的推理数据上微调。

为什么重要

  • 成本和速度。 更小的模型需要更少的 GPU 显存,生成也更快,这会体现在每 token 价格和延迟上。
  • 能力更窄。 学生模型在训练过的领域很强,在其他领域较弱。用你自己的任务测试它,而不是相信教师模型的基准成绩。
  • 叠加使用。 在自托管部署中,蒸馏可以与量化和 LoRA 结合。
  • 许可。 能否用教师模型的输出做训练,由它的许可证或 API 条款决定。

在 BroadNet Inference 上

BroadNet 的 API 参考没有说明其模型是否经过蒸馏,所以不要做这种假设。不过模型之间的价格差异确实说明了小模型的价值:BroadNet Gemma 4 VL 26B 的价格是每 1M 输出 token $0.22,而 GLM 5.3 是 $3.46。小模型够不够用,要靠你自己的评测来判断。编程智能体最佳开放模型一文按任务比较了各个选项。

常见问题

蒸馏和量化有什么区别?

蒸馏是训练一个新的、更小的模型。量化保留同一个模型,只是用更低的精度存储权重。两者都能降低推理成本,也可以结合使用。

蒸馏模型和教师模型一样好吗?

通常不会在所有任务上都一样好,但在蒸馏所针对的任务上可以很接近。在 Hinton、Vinyals 和 Dean 的 MNIST 测试中,蒸馏后的小网络出错 74 次,教师模型出错 67 次。

可以蒸馏其他服务商的模型吗?

用教师模型的输出训练之前,先阅读它的许可证或 API 条款。各家在这一点上规定不同,有些会加以限制。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity