Model lớn tốn kém khi phục vụ. Distillation chuyển những gì model lớn biết sang một model nhỏ.
Cách hoạt động
Hinton, Vinyals và Dean mô tả dạng hiện đại vào năm 2015. Xác suất đầu ra của model thầy trở thành “soft targets” (Bản dịch: mục tiêu mềm) cho model trò. Một nhãn thông thường chỉ nói “đây là số 7”. Xác suất của model thầy còn cho biết nó hơi giống số 1 và hoàn toàn không giống số 4, và tín hiệu thêm đó giúp model trò học.
Để làm lộ tín hiệu này, họ tăng temperature của softmax. Bài báo lưu ý rằng T cao hơn “produces a softer probability distribution over classes” (Bản dịch: tạo ra phân phối xác suất mềm hơn trên các lớp). Kết quả MNIST của họ:
| Model | Số lỗi trên tập test |
|---|---|
| Mạng thầy lớn | 67 |
| Mạng nhỏ, chỉ huấn luyện trên nhãn | 146 |
| Cùng mạng nhỏ đó, chưng cất ở T = 20 | 74 |
Với LLM, distillation thường dùng văn bản được sinh ra thay cho xác suất. Model thầy viết câu trả lời, và model trò được fine-tune trên đó. Bài báo DeepSeek-R1 báo cáo rằng các mẫu suy luận của model lớn có thể dẫn dắt model nhỏ hơn. Model card của nó liệt kê sáu model chưng cất từ 1,5B đến 70B tham số, xây trên nền Qwen2.5 và Llama và được fine-tune trên dữ liệu suy luận do DeepSeek-R1 sinh ra.
Vì sao quan trọng
- Chi phí và tốc độ. Model nhỏ hơn cần ít bộ nhớ GPU hơn và sinh nhanh hơn, điều này thể hiện ở giá mỗi token và độ trễ.
- Năng lực hẹp hơn. Model trò mạnh ở chỗ nó được huấn luyện và yếu hơn ở chỗ khác. Hãy test trên tác vụ của chính bạn thay vì tin vào benchmark của model thầy.
- Kết hợp. Trong các hệ thống tự host, distillation đi cùng lượng tử hóa và LoRA.
- Giấy phép. Giấy phép hoặc điều khoản API của model thầy quyết định bạn có được huấn luyện trên đầu ra của nó hay không.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet không nói model nào của họ được chưng cất, nên đừng giả định như vậy. Dù vậy, chênh lệch giá giữa các model cho thấy vì sao model nhỏ quan trọng: BroadNet Gemma 4 VL 26B niêm yết $0.22 mỗi 1 triệu token đầu ra, so với $3.46 của GLM 5.3. Model nhỏ hơn có đủ tốt hay không là câu hỏi dành cho bộ eval của riêng bạn. Bài viết về model mở tốt nhất cho coding agent so sánh các lựa chọn theo tác vụ.