BroadRouter
시작하기

지식 증류(knowledge distillation)

업데이트

증류(distillation), 또는 지식 증류는 더 작은 학생 모델이 더 큰 교사 모델의 출력, 예컨대 확률 분포나 생성한 답을 재현하도록 학습하는 방법입니다. 그 결과 학생 모델은 더 낮은 실행 비용으로 교사 모델의 품질을 상당 부분 유지합니다.

다른 이름: 지식 증류, 모델 증류, 증류 모델, LLM 증류, 교사-학생 학습, knowledge distillation, model distillation, distilled model, teacher-student training

큰 모델은 서빙 비용이 많이 듭니다. 증류는 큰 모델이 아는 것을 작은 모델로 옮깁니다.

작동 방식

Hinton, Vinyals, Dean은 2015년에 오늘날의 형태를 제시했습니다. 교사 모델의 출력 확률이 학생 모델의 “soft targets”(번역: 소프트 타깃)가 됩니다. 일반 라벨은 “이것은 7이다”라고만 말합니다. 교사 모델의 확률은 거기에 더해 1과는 조금 닮았고 4와는 전혀 닮지 않았다는 것까지 알려 주며, 이 추가 신호가 학생 모델의 학습을 돕습니다.

이 신호를 드러내기 위해 softmax temperature를 높입니다. 논문은 T를 높이면 “produces a softer probability distribution over classes”(번역: 클래스에 대한 더 부드러운 확률 분포를 만든다)라고 설명합니다. 이들의 MNIST 결과는 다음과 같습니다.

모델 테스트 오류 수
큰 교사 신경망 67
작은 신경망, 라벨로만 학습 146
같은 작은 신경망, T = 20에서 증류 74

LLM에서는 확률 대신 생성된 텍스트로 증류하는 경우가 많습니다. 교사 모델이 답을 쓰고, 학생 모델을 그 답으로 파인튜닝합니다. DeepSeek-R1 논문은 큰 모델의 추론 패턴이 작은 모델을 이끌 수 있다고 보고합니다. 모델 카드에는 1.5B부터 70B 파라미터까지 증류 모델 여섯 개가 있는데, Qwen2.5와 Llama를 기반으로 DeepSeek-R1이 생성한 추론 데이터로 파인튜닝한 것입니다.

왜 중요한가

  • 비용과 속도. 작은 모델은 GPU 메모리를 덜 쓰고 더 빠르게 생성하며, 이는 토큰당 가격과 지연 시간에 반영됩니다.
  • 좁은 능력. 학생 모델은 학습한 영역에서는 강하고 그 밖에서는 약합니다. 교사 모델의 벤치마크를 믿지 말고 직접 작업으로 시험하세요.
  • 조합. 자체 호스팅 환경에서는 증류를 양자화, LoRA와 함께 씁니다.
  • 라이선스. 교사 모델의 출력으로 학습해도 되는지는 그 모델의 라이선스나 API 약관이 정합니다.

BroadNet Inference에서는

BroadNet의 API 레퍼런스는 모델이 증류되었는지 밝히지 않으므로, 그렇다고 가정하지 마세요. 다만 모델 간 가격 차이를 보면 작은 모델이 왜 중요한지 알 수 있습니다. BroadNet은 출력 토큰 100만 개당 가격으로 BroadNet Gemma 4 VL 26B $0.22 요금, GLM 5.3 $3.46 요금을 표시합니다. 작은 모델로 충분한지는 직접 평가(eval)로 판단할 문제입니다. 코딩 에이전트에 가장 좋은 오픈 모델 글에서 작업별로 선택지를 비교합니다.

자주 묻는 질문

증류와 양자화는 무엇이 다른가요?

증류는 더 작은 새 모델을 학습시킵니다. 양자화는 같은 모델을 유지한 채 가중치를 더 낮은 정밀도로 저장합니다. 둘 다 추론 비용을 낮추며, 함께 쓸 수도 있습니다.

증류된 모델은 교사 모델만큼 좋은가요?

모든 작업에서 그렇지는 않지만, 증류 대상이었던 작업에서는 근접할 수 있습니다. Hinton, Vinyals, Dean의 MNIST 실험에서 증류된 작은 신경망의 오류는 74개, 교사 모델은 67개였습니다.

다른 제공업체의 모델을 증류해도 되나요?

교사 모델의 출력으로 학습하기 전에 그 모델의 라이선스나 API 약관을 읽으세요. 이 부분은 약관마다 다르고, 제한하는 곳도 있습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기