---
title: "O que é destilação de modelos? LLMs professor e aluno"
description: "A destilação treina um modelo aluno pequeno para imitar um professor maior, o que barateia a execução. Como funcionam os soft targets e os modelos destilados."
url: https://broadrouter.com/pt/glossary/distillation/
lang: pt-BR
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/distillation/) (atualizado em 2026-11-16).

# Destilação (knowledge distillation)

Atualizado em 2026-11-16

Destilação, ou knowledge distillation, é um método de treinamento em que um modelo aluno menor aprende a reproduzir as saídas de um modelo professor maior, como suas distribuições de probabilidade ou respostas geradas, para manter boa parte da qualidade do professor com um custo de execução menor.

Também chamado de: destilação de conhecimento, destilação de modelos, modelo destilado, treinamento professor-aluno, knowledge distillation, model distillation, distilled model, teacher-student training

Modelos grandes são caros de servir. A destilação passa o que um modelo grande sabe para um pequeno.

## Como funciona

Hinton, Vinyals e Dean descreveram a forma moderna em 2015. As probabilidades de saída do professor viram “soft targets” (tradução: alvos suaves) para o aluno. Um rótulo simples diz só “isto é um 7”. As probabilidades do professor dizem também que ele parece um pouco um 1 e nada um 4, e esse sinal extra ajuda o aluno a aprender.

Para expor esse sinal, eles aumentam a [temperatura](https://broadrouter.com/pt/glossary/temperature/) da softmax. O artigo observa que um T maior “produces a softer probability distribution over classes” (tradução: produz uma distribuição de probabilidade mais suave entre as classes). Os resultados no MNIST:

| Modelo | Erros no teste |
| --- | --- |
| Rede professora grande | 67 |
| Rede pequena, treinada só com rótulos | 146 |
| Mesma rede pequena, destilada com T = 20 | 74 |

Com LLMs, a destilação muitas vezes usa texto gerado em vez de probabilidades. O professor escreve respostas e o aluno passa por [fine-tuning](https://broadrouter.com/pt/glossary/fine-tuning/) com elas. O artigo do DeepSeek-R1 relata que os padrões de raciocínio de modelos grandes podem orientar modelos menores. O model card lista seis modelos destilados, de 1,5B a 70B de parâmetros, construídos sobre bases Qwen2.5 e Llama e ajustados com dados de raciocínio gerados pelo DeepSeek-R1.

## Por que isso importa

-   **Custo e velocidade.** Um modelo menor precisa de menos memória de GPU e gera mais rápido, o que aparece nos preços por token e na latência.
-   **Habilidade mais estreita.** Um aluno é forte onde foi treinado e mais fraco no resto. Teste nas suas próprias tarefas em vez de confiar no benchmark do professor.
-   **Combinação.** Em setups self-hosted, a destilação se combina com [quantização](https://broadrouter.com/pt/glossary/quantization/) e [LoRA](https://broadrouter.com/pt/glossary/lora/).
-   **Licenciamento.** A licença do professor ou os termos da API dele decidem se você pode treinar com as saídas.

## Na BroadNet Inference

A [referência da API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-distillation&utm_content=body#models) da BroadNet não diz se algum dos seus modelos foi destilado, então não presuma isso. As diferenças de preço entre modelos mostram por que modelos pequenos importam: o BroadNet Gemma 4 VL 26B custa $0.22 por 1M de tokens de saída, contra $3.46 do GLM 5.3. Se o modelo menor é bom o suficiente é uma pergunta para a sua própria eval. O post sobre o [melhor modelo aberto para agentes de programação](https://broadrouter.com/pt/blog/best-open-model-for-coding-agents/) compara as opções por tarefa.

## Perguntas frequentes

### Qual a diferença entre destilação e quantização?

A destilação treina um modelo novo e menor. A quantização mantém o mesmo modelo e guarda os pesos com precisão menor. As duas deixam a inferência mais barata e podem ser combinadas.

### Um modelo destilado é tão bom quanto o professor?

Normalmente não em todas as tarefas, mas pode chegar perto nas tarefas para as quais foi destilado. No teste com MNIST de Hinton, Vinyals e Dean, a rede pequena destilada cometeu 74 erros, contra 67 do professor.

### Posso destilar o modelo de outro provedor?

Leia a licença do modelo professor ou os termos da API dele antes de treinar com as saídas. Eles variam nesse ponto, e alguns restringem esse uso.

## Veja também

-   [Fine-tuning (ajuste fino de LLM)](https://broadrouter.com/pt/glossary/fine-tuning/) (termo)
-   [LoRA (low-rank adaptation)](https://broadrouter.com/pt/glossary/lora/) (termo)
-   [Quantização (quantization)](https://broadrouter.com/pt/glossary/quantization/) (termo)
-   [Temperatura (temperature)](https://broadrouter.com/pt/glossary/temperature/) (termo)
-   [Modelo de pesos abertos (open-weight)](https://broadrouter.com/pt/glossary/open-weight-model/) (termo)
-   [Por que um modelo de raciocínio devolve uma resposta vazia](https://broadrouter.com/pt/guides/reasoning-tokens-empty-response/) (guia)
-   [IA open-weight vs fechada na empresa: custo, controle e risco](https://broadrouter.com/pt/blog/open-weight-vs-closed-models/) (artigo)
-   [Melhor modelo aberto para agentes de código: ferramentas e custo](https://broadrouter.com/pt/blog/best-open-model-for-coding-agents/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-distillation&utm_content=page-cta) ·

**Fontes**

-   [Hinton, Vinyals e Dean (2015), Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI (2025), artigo do DeepSeek-R1](https://arxiv.org/abs/2501.12948)
-   [Model card do DeepSeek-R1 no Hugging Face (modelos destilados)](https://huggingface.co/deepseek-ai/DeepSeek-R1)
