BroadRouter
Начать

Дистилляция знаний (knowledge distillation)

Обновлено

Дистилляция, или дистилляция знаний, — это метод обучения, при котором меньшая модель-ученик учится воспроизводить выходы большей модели-учителя, например её распределения вероятностей или сгенерированные ответы. В итоге ученик сохраняет значительную часть качества учителя, а запуск обходится дешевле.

Также называют: дистилляция, дистилляция знаний, дистилляция моделей, дистиллированная модель, обучение учитель-ученик, distillation, knowledge distillation, model distillation, distilled model, teacher-student training

Обслуживать большие модели дорого. Дистилляция переносит то, что знает большая модель, в маленькую.

Как это работает

Современную форму метода описали Hinton, Vinyals и Dean в 2015 году. Выходные вероятности учителя становятся для ученика «мягкими метками» (soft targets). Обычная метка говорит только «это 7». Вероятности учителя говорят ещё и о том, что цифра немного похожа на 1 и совсем не похожа на 4, и этот дополнительный сигнал помогает ученику учиться.

Чтобы его проявить, авторы повышают температуру softmax. В статье отмечено, что более высокое T “produces a softer probability distribution over classes” (перевод: «даёт более мягкое распределение вероятностей по классам»). Их результаты на MNIST:

Модель Ошибок на тесте
Большая сеть-учитель 67
Маленькая сеть, обученная только на метках 146
Та же маленькая сеть, дистиллированная при T = 20 74

В случае LLM дистилляция часто использует сгенерированный текст вместо вероятностей. Учитель пишет ответы, а ученика на них дообучают. Авторы статьи о DeepSeek-R1 сообщают, что паттерны рассуждений больших моделей могут направлять меньшие. В карточке модели перечислены шесть дистиллированных моделей размером от 1.5B до 70B параметров, построенных на базе Qwen2.5 и Llama и дообученных на данных рассуждений, сгенерированных DeepSeek-R1.

Почему это важно

  • Стоимость и скорость. Меньшей модели нужно меньше памяти GPU, и она генерирует быстрее, что видно по цене за токен и задержке.
  • Более узкий навык. Ученик силён там, где его обучали, и слабее в остальном. Проверяйте его на своих задачах, а не доверяйте бенчмарку учителя.
  • Сочетание методов. В собственных развёртываниях дистилляцию сочетают с квантизацией и LoRA.
  • Лицензирование. Можно ли обучаться на выходах учителя, решают его лицензия или условия API.

В BroadNet Inference

Справочник API BroadNet не сообщает, дистиллирована ли какая-либо из её моделей, так что не стоит это предполагать. Но разница в ценах показывает, почему маленькие модели важны: у BroadNet Gemma 4 VL 26B указано $0.22 за 1 млн выходных токенов против $3.46 у GLM 5.3. Достаточно ли хороша меньшая модель, покажет только ваш собственный eval. Статья о лучшей открытой модели для агентов для программирования сравнивает варианты по задачам.

Вопросы и ответы

Чем дистилляция отличается от квантизации?

Дистилляция обучает новую, меньшую модель. Квантизация оставляет ту же модель и хранит её веса с меньшей точностью. Оба подхода удешевляют инференс, и их можно сочетать.

Дистиллированная модель так же хороша, как учитель?

Обычно не на всех задачах, но на тех, для которых её дистиллировали, она может подойти близко. В тесте на MNIST, проведённом Хинтоном, Виньялсом и Дином, дистиллированная маленькая сеть сделала 74 ошибки против 67 у учителя.

Можно ли дистиллировать модель другого провайдера?

Прежде чем обучаться на выходах модели-учителя, прочитайте её лицензию или условия API. В этом вопросе они различаются, и некоторые такое ограничивают.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity