BroadRouter
Bắt đầu

Chưng cất tri thức (knowledge distillation)

Cập nhật

Distillation, hay chưng cất tri thức (knowledge distillation), là phương pháp huấn luyện trong đó một model trò nhỏ hơn học tái tạo đầu ra của một model thầy lớn hơn, như phân phối xác suất hay câu trả lời sinh ra, để model trò giữ được phần lớn chất lượng của model thầy với chi phí chạy thấp hơn.

Còn gọi là: distillation là gì, chưng cất tri thức, chưng cất model, model chưng cất, huấn luyện thầy trò, knowledge distillation, model distillation, distilled model, teacher-student training

Model lớn tốn kém khi phục vụ. Distillation chuyển những gì model lớn biết sang một model nhỏ.

Cách hoạt động

Hinton, Vinyals và Dean mô tả dạng hiện đại vào năm 2015. Xác suất đầu ra của model thầy trở thành “soft targets” (Bản dịch: mục tiêu mềm) cho model trò. Một nhãn thông thường chỉ nói “đây là số 7”. Xác suất của model thầy còn cho biết nó hơi giống số 1 và hoàn toàn không giống số 4, và tín hiệu thêm đó giúp model trò học.

Để làm lộ tín hiệu này, họ tăng temperature của softmax. Bài báo lưu ý rằng T cao hơn “produces a softer probability distribution over classes” (Bản dịch: tạo ra phân phối xác suất mềm hơn trên các lớp). Kết quả MNIST của họ:

Model Số lỗi trên tập test
Mạng thầy lớn 67
Mạng nhỏ, chỉ huấn luyện trên nhãn 146
Cùng mạng nhỏ đó, chưng cất ở T = 20 74

Với LLM, distillation thường dùng văn bản được sinh ra thay cho xác suất. Model thầy viết câu trả lời, và model trò được fine-tune trên đó. Bài báo DeepSeek-R1 báo cáo rằng các mẫu suy luận của model lớn có thể dẫn dắt model nhỏ hơn. Model card của nó liệt kê sáu model chưng cất từ 1,5B đến 70B tham số, xây trên nền Qwen2.5 và Llama và được fine-tune trên dữ liệu suy luận do DeepSeek-R1 sinh ra.

Vì sao quan trọng

  • Chi phí và tốc độ. Model nhỏ hơn cần ít bộ nhớ GPU hơn và sinh nhanh hơn, điều này thể hiện ở giá mỗi token và độ trễ.
  • Năng lực hẹp hơn. Model trò mạnh ở chỗ nó được huấn luyện và yếu hơn ở chỗ khác. Hãy test trên tác vụ của chính bạn thay vì tin vào benchmark của model thầy.
  • Kết hợp. Trong các hệ thống tự host, distillation đi cùng lượng tử hóa và LoRA.
  • Giấy phép. Giấy phép hoặc điều khoản API của model thầy quyết định bạn có được huấn luyện trên đầu ra của nó hay không.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet không nói model nào của họ được chưng cất, nên đừng giả định như vậy. Dù vậy, chênh lệch giá giữa các model cho thấy vì sao model nhỏ quan trọng: BroadNet Gemma 4 VL 26B niêm yết $0.22 mỗi 1 triệu token đầu ra, so với $3.46 của GLM 5.3. Model nhỏ hơn có đủ tốt hay không là câu hỏi dành cho bộ eval của riêng bạn. Bài viết về model mở tốt nhất cho coding agent so sánh các lựa chọn theo tác vụ.

Câu hỏi thường gặp

Distillation khác quantization thế nào?

Distillation huấn luyện một model mới, nhỏ hơn. Quantization giữ nguyên model và lưu trọng số ở độ chính xác thấp hơn. Cả hai đều làm inference rẻ hơn, và có thể kết hợp với nhau.

Model chưng cất có tốt bằng model thầy không?

Thường không phải ở mọi tác vụ, nhưng có thể tiến sát ở những tác vụ nó được chưng cất. Trong thử nghiệm MNIST của Hinton, Vinyals và Dean, mạng nhỏ đã chưng cất mắc 74 lỗi so với 67 lỗi của model thầy.

Có được chưng cất model của nhà cung cấp khác không?

Hãy đọc giấy phép hoặc điều khoản API của model thầy trước khi huấn luyện trên đầu ra của nó. Các điều khoản khác nhau ở điểm này, và một số có hạn chế.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity