BroadRouter
Magsimula

Distillation (knowledge distillation)

Na-update

Ang distillation, o knowledge distillation, ay isang paraan ng training kung saan natututo ang mas maliit na student model na gayahin ang output ng mas malaking teacher model, gaya ng mga probability distribution o nabuong sagot nito, para mapanatili ng student ang malaking bahagi ng kalidad ng teacher sa mas mababang gastos sa pagpapatakbo.

Tinatawag ding: knowledge distillation, model distillation, distilled model, teacher-student training, distilled na model

Mahal i-serve ang malalaking model. Inililipat ng distillation ang alam ng isang malaking model sa isang maliit.

Paano ito gumagana

Inilarawan nina Hinton, Vinyals at Dean ang modernong anyo nito noong 2015. Nagiging “soft targets” para sa student ang mga output probability ng teacher. Ang simpleng label ay nagsasabi lang na “7 ito”. Ang mga probability ng teacher ay nagsasabi rin na medyo kahawig ito ng 1 at hindi kamukha ng 4, at nakakatulong ang dagdag na signal na iyon sa pagkatuto ng student.

Para mailabas ito, itinataas nila ang softmax temperature. Ayon sa paper, ang mas mataas na T ay “produces a softer probability distribution over classes” (Salin ng BroadRouter: “nagbubunga ng mas malambot na probability distribution sa mga class”). Ang mga resulta nila sa MNIST:

Model Mga error sa test
Malaking teacher net 67
Maliit na net, na-train sa mga label lang 146
Parehong maliit na net, distilled sa T = 20 74

Sa mga LLM, madalas na nabuong text ang ginagamit sa distillation sa halip na mga probability. Nagsusulat ng mga sagot ang teacher, at fine-tuned ang student sa mga iyon. Iniuulat ng paper ng DeepSeek-R1 na kayang gabayan ng mga reasoning pattern ng malalaking model ang mas maliliit. Naglilista ang model card nito ng anim na distilled model mula 1.5B hanggang 70B parameter, na nakabatay sa Qwen2.5 at Llama at fine-tuned sa reasoning data na nabuo ng DeepSeek-R1.

Bakit ito mahalaga

  • Gastos at bilis. Mas kaunting GPU memory ang kailangan ng mas maliit na model at mas mabilis itong mag-generate, na makikita sa per-token na presyo at latency.
  • Mas makitid na galing. Malakas ang student sa mga bagay na pinag-train-an dito at mas mahina sa iba. I-test ito sa sarili mong mga task sa halip na umasa sa benchmark ng teacher.
  • Pagsasama-sama. Ipinapares ang distillation sa quantization at LoRA sa mga self-hosted na setup.
  • Licensing. Ang licence o API terms ng teacher ang nagpapasya kung puwede kang mag-train sa mga output nito.

Sa BroadNet Inference

Hindi sinasabi ng API reference ng BroadNet kung distilled ang alinman sa mga model nito, kaya huwag itong ipagpalagay. Pero ipinapakita ng pagkakaiba ng presyo ng mga model kung bakit mahalaga ang maliliit na model: nakalista ang BroadNet Gemma 4 VL 26B sa $0.22 kada 1M output token laban sa $3.46 para sa GLM 5.3. Kung sapat na ang mas maliit na model, tanong iyan para sa sarili mong eval. Ikinukumpara ng post tungkol sa pinakamahusay na open model para sa coding agents ang mga opsyon ayon sa task.

Mga tanong

Ano ang pinagkaiba ng distillation at quantization?

Nagte-train ang distillation ng bago at mas maliit na model. Pinapanatili naman ng quantization ang parehong model at iniimbak ang weights nito sa mas mababang precision. Parehong pinamumura ng dalawa ang inference, at puwede silang pagsamahin.

Kasinghusay ba ng teacher ang distilled model?

Kadalasan, hindi sa bawat task, pero puwede itong lumapit sa mga task na pinag-distill dito. Sa MNIST test nina Hinton, Vinyals at Dean, 74 na error ang nagawa ng distilled na maliit na net laban sa 67 ng teacher.

Puwede bang i-distill ang model ng ibang provider?

Basahin ang licence o API terms ng teacher model bago ka mag-train sa mga output nito. Magkakaiba sila sa puntong ito, at may ilang naglilimita rito.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity