Model besar mahal untuk dilayani. Distilasi memindahkan apa yang diketahui model besar ke model kecil.
Cara kerjanya
Hinton, Vinyals, dan Dean menjelaskan bentuk modernnya pada 2015. Probabilitas output guru menjadi “soft targets” (terjemahan: target lunak) bagi murid. Label biasa hanya mengatakan “ini angka 7”. Probabilitas dari guru juga mengatakan bahwa gambar itu sedikit mirip angka 1 dan sama sekali tidak mirip angka 4, dan sinyal tambahan itu membantu murid belajar.
Untuk memunculkan sinyal itu, mereka menaikkan temperature softmax. Makalah itu mencatat bahwa T yang lebih tinggi “produces a softer probability distribution over classes” (terjemahan: menghasilkan distribusi probabilitas yang lebih lunak di antara kelas). Hasil MNIST mereka:
| Model | Kesalahan uji |
|---|---|
| Jaringan guru besar | 67 |
| Jaringan kecil, dilatih hanya dengan label | 146 |
| Jaringan kecil yang sama, didistilasi pada T = 20 | 74 |
Pada LLM, distilasi sering memakai teks yang dihasilkan, bukan probabilitas. Guru menulis jawaban, lalu murid di-fine-tune dengan jawaban itu. Makalah DeepSeek-R1 melaporkan bahwa pola penalaran model besar dapat membimbing model yang lebih kecil. Kartu modelnya mencantumkan enam model hasil distilasi dari 1,5B hingga 70B parameter, dibangun di atas basis Qwen2.5 dan Llama dan di-fine-tune dengan data penalaran yang dihasilkan DeepSeek-R1.
Mengapa penting
- Biaya dan kecepatan. Model yang lebih kecil membutuhkan lebih sedikit memori GPU dan menghasilkan token lebih cepat, yang terlihat pada harga per token dan latensi.
- Kemampuan lebih sempit. Murid kuat di bidang tempat ia dilatih dan lebih lemah di luar itu. Uji pada tugas Anda sendiri, jangan hanya percaya benchmark gurunya.
- Dikombinasikan. Distilasi dipadukan dengan kuantisasi dan LoRA pada setup self-hosted.
- Lisensi. Lisensi atau ketentuan API guru menentukan apakah Anda boleh melatih dengan output-nya.
Di BroadNet Inference
Referensi API BroadNet tidak menyebutkan apakah ada modelnya yang hasil distilasi, jadi jangan berasumsi. Selisih harga antarmodel memang menunjukkan mengapa model kecil penting: BroadNet Gemma 4 VL 26B mencantumkan $0.22 per 1 juta token output, dibanding $3.46 untuk GLM 5.3. Apakah model yang lebih kecil cukup bagus adalah pertanyaan untuk eval Anda sendiri. Artikel model open terbaik untuk agen coding membandingkan pilihan-pilihannya per tugas.