---
title: "Ano ang model distillation? Teacher at student na LLM"
description: "Tine-train ng distillation ang maliit na student model para gayahin ang mas malaking teacher, kaya mas mura itong patakbuhin. Soft targets at reasoning model."
url: https://broadrouter.com/fil/glossary/distillation/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/distillation/) (na-update noong 2026-11-16).

# Distillation (knowledge distillation)

Na-update 2026-11-16

Ang distillation, o knowledge distillation, ay isang paraan ng training kung saan natututo ang mas maliit na student model na gayahin ang output ng mas malaking teacher model, gaya ng mga probability distribution o nabuong sagot nito, para mapanatili ng student ang malaking bahagi ng kalidad ng teacher sa mas mababang gastos sa pagpapatakbo.

Tinatawag ding: knowledge distillation, model distillation, distilled model, teacher-student training, distilled na model

Mahal i-serve ang malalaking model. Inililipat ng distillation ang alam ng isang malaking model sa isang maliit.

## Paano ito gumagana

Inilarawan nina Hinton, Vinyals at Dean ang modernong anyo nito noong 2015. Nagiging “soft targets” para sa student ang mga output probability ng teacher. Ang simpleng label ay nagsasabi lang na “7 ito”. Ang mga probability ng teacher ay nagsasabi rin na medyo kahawig ito ng 1 at hindi kamukha ng 4, at nakakatulong ang dagdag na signal na iyon sa pagkatuto ng student.

Para mailabas ito, itinataas nila ang softmax [temperature](https://broadrouter.com/fil/glossary/temperature/). Ayon sa paper, ang mas mataas na T ay “produces a softer probability distribution over classes” (Salin ng BroadRouter: “nagbubunga ng mas malambot na probability distribution sa mga class”). Ang mga resulta nila sa MNIST:

| Model | Mga error sa test |
| --- | --- |
| Malaking teacher net | 67 |
| Maliit na net, na-train sa mga label lang | 146 |
| Parehong maliit na net, distilled sa T = 20 | 74 |

Sa mga LLM, madalas na nabuong text ang ginagamit sa distillation sa halip na mga probability. Nagsusulat ng mga sagot ang teacher, at [fine-tuned](https://broadrouter.com/fil/glossary/fine-tuning/) ang student sa mga iyon. Iniuulat ng paper ng DeepSeek-R1 na kayang gabayan ng mga reasoning pattern ng malalaking model ang mas maliliit. Naglilista ang model card nito ng anim na distilled model mula 1.5B hanggang 70B parameter, na nakabatay sa Qwen2.5 at Llama at fine-tuned sa reasoning data na nabuo ng DeepSeek-R1.

## Bakit ito mahalaga

-   **Gastos at bilis.** Mas kaunting GPU memory ang kailangan ng mas maliit na model at mas mabilis itong mag-generate, na makikita sa per-token na presyo at latency.
-   **Mas makitid na galing.** Malakas ang student sa mga bagay na pinag-train-an dito at mas mahina sa iba. I-test ito sa sarili mong mga task sa halip na umasa sa benchmark ng teacher.
-   **Pagsasama-sama.** Ipinapares ang distillation sa [quantization](https://broadrouter.com/fil/glossary/quantization/) at [LoRA](https://broadrouter.com/fil/glossary/lora/) sa mga self-hosted na setup.
-   **Licensing.** Ang licence o API terms ng teacher ang nagpapasya kung puwede kang mag-train sa mga output nito.

## Sa BroadNet Inference

Hindi sinasabi ng [API reference](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-distillation&utm_content=body#models) ng BroadNet kung distilled ang alinman sa mga model nito, kaya huwag itong ipagpalagay. Pero ipinapakita ng pagkakaiba ng presyo ng mga model kung bakit mahalaga ang maliliit na model: nakalista ang BroadNet Gemma 4 VL 26B sa $0.22 kada 1M output token laban sa $3.46 para sa GLM 5.3. Kung sapat na ang mas maliit na model, tanong iyan para sa sarili mong eval. Ikinukumpara ng post tungkol sa [pinakamahusay na open model para sa coding agents](https://broadrouter.com/fil/blog/best-open-model-for-coding-agents/) ang mga opsyon ayon sa task.

## Mga tanong

### Ano ang pinagkaiba ng distillation at quantization?

Nagte-train ang distillation ng bago at mas maliit na model. Pinapanatili naman ng quantization ang parehong model at iniimbak ang weights nito sa mas mababang precision. Parehong pinamumura ng dalawa ang inference, at puwede silang pagsamahin.

### Kasinghusay ba ng teacher ang distilled model?

Kadalasan, hindi sa bawat task, pero puwede itong lumapit sa mga task na pinag-distill dito. Sa MNIST test nina Hinton, Vinyals at Dean, 74 na error ang nagawa ng distilled na maliit na net laban sa 67 ng teacher.

### Puwede bang i-distill ang model ng ibang provider?

Basahin ang licence o API terms ng teacher model bago ka mag-train sa mga output nito. Magkakaiba sila sa puntong ito, at may ilang naglilimita rito.

## Tingnan din

-   [Fine-tuning](https://broadrouter.com/fil/glossary/fine-tuning/) (termino)
-   [LoRA (low-rank adaptation)](https://broadrouter.com/fil/glossary/lora/) (termino)
-   [Quantization](https://broadrouter.com/fil/glossary/quantization/) (termino)
-   [Temperature](https://broadrouter.com/fil/glossary/temperature/) (termino)
-   [Open-weight model](https://broadrouter.com/fil/glossary/open-weight-model/) (termino)
-   [Bakit walang laman ang sagot ng isang reasoning model](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/) (gabay)
-   [Open-weight vs closed na AI model sa negosyo: gastos, kontrol, risk](https://broadrouter.com/fil/blog/open-weight-vs-closed-models/) (artikulo)
-   [Pinakamahusay na open model sa coding agent: tools, context, gastos](https://broadrouter.com/fil/blog/best-open-model-for-coding-agents/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-distillation&utm_content=page-cta) ·

**Mga source**

-   [Hinton, Vinyals at Dean (2015), Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI (2025), paper ng DeepSeek-R1](https://arxiv.org/abs/2501.12948)
-   [Model card ng DeepSeek-R1 sa Hugging Face (mga distilled model)](https://huggingface.co/deepseek-ai/DeepSeek-R1)
