Mahal i-serve ang malalaking model. Inililipat ng distillation ang alam ng isang malaking model sa isang maliit.
Paano ito gumagana
Inilarawan nina Hinton, Vinyals at Dean ang modernong anyo nito noong 2015. Nagiging “soft targets” para sa student ang mga output probability ng teacher. Ang simpleng label ay nagsasabi lang na “7 ito”. Ang mga probability ng teacher ay nagsasabi rin na medyo kahawig ito ng 1 at hindi kamukha ng 4, at nakakatulong ang dagdag na signal na iyon sa pagkatuto ng student.
Para mailabas ito, itinataas nila ang softmax temperature. Ayon sa paper, ang mas mataas na T ay “produces a softer probability distribution over classes” (Salin ng BroadRouter: “nagbubunga ng mas malambot na probability distribution sa mga class”). Ang mga resulta nila sa MNIST:
| Model | Mga error sa test |
|---|---|
| Malaking teacher net | 67 |
| Maliit na net, na-train sa mga label lang | 146 |
| Parehong maliit na net, distilled sa T = 20 | 74 |
Sa mga LLM, madalas na nabuong text ang ginagamit sa distillation sa halip na mga probability. Nagsusulat ng mga sagot ang teacher, at fine-tuned ang student sa mga iyon. Iniuulat ng paper ng DeepSeek-R1 na kayang gabayan ng mga reasoning pattern ng malalaking model ang mas maliliit. Naglilista ang model card nito ng anim na distilled model mula 1.5B hanggang 70B parameter, na nakabatay sa Qwen2.5 at Llama at fine-tuned sa reasoning data na nabuo ng DeepSeek-R1.
Bakit ito mahalaga
- Gastos at bilis. Mas kaunting GPU memory ang kailangan ng mas maliit na model at mas mabilis itong mag-generate, na makikita sa per-token na presyo at latency.
- Mas makitid na galing. Malakas ang student sa mga bagay na pinag-train-an dito at mas mahina sa iba. I-test ito sa sarili mong mga task sa halip na umasa sa benchmark ng teacher.
- Pagsasama-sama. Ipinapares ang distillation sa quantization at LoRA sa mga self-hosted na setup.
- Licensing. Ang licence o API terms ng teacher ang nagpapasya kung puwede kang mag-train sa mga output nito.
Sa BroadNet Inference
Hindi sinasabi ng API reference ng BroadNet kung distilled ang alinman sa mga model nito, kaya huwag itong ipagpalagay. Pero ipinapakita ng pagkakaiba ng presyo ng mga model kung bakit mahalaga ang maliliit na model: nakalista ang BroadNet Gemma 4 VL 26B sa $0.22 kada 1M output token laban sa $3.46 para sa GLM 5.3. Kung sapat na ang mas maliit na model, tanong iyan para sa sarili mong eval. Ikinukumpara ng post tungkol sa pinakamahusay na open model para sa coding agents ang mga opsyon ayon sa task.