---
title: "¿Qué es la destilación de modelos? LLM maestro y alumno"
description: "La destilación entrena un modelo alumno pequeño para imitar a un maestro más grande y abaratar su ejecución. Soft targets y modelos de razonamiento destilados."
url: https://broadrouter.com/es/glossary/distillation/
lang: es
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traducido del inglés con ayuda de IA. [Lea el original en inglés](https://broadrouter.com/glossary/distillation/) (actualizado el 2026-11-16).

# Destilación de conocimiento (distillation)

Actualizado 2026-11-16

La destilación, o destilación de conocimiento, es un método de entrenamiento en el que un modelo alumno más pequeño aprende a reproducir las salidas de un modelo maestro más grande, como sus distribuciones de probabilidad o sus respuestas generadas, de modo que el alumno conserva buena parte de la calidad del maestro con un costo de ejecución menor.

También llamado: destilación, destilación de conocimiento, destilación de modelos, modelo destilado, entrenamiento maestro-alumno, distillation, knowledge distillation, model distillation, distilled model, teacher-student training

Los modelos grandes son caros de servir. La destilación traslada lo que sabe un modelo grande a uno pequeño.

## Cómo funciona

Hinton, Vinyals y Dean describieron la forma moderna en 2015. Las probabilidades de salida del maestro se convierten en “soft targets” (objetivos blandos) para el alumno. Una etiqueta simple solo dice “esto es un 7”. Las probabilidades del maestro dicen además que se parece un poco a un 1 y nada a un 4, y esa señal extra ayuda al alumno a aprender.

Para hacerla visible, suben la [temperatura](https://broadrouter.com/es/glossary/temperature/) del softmax. El artículo señala que una T más alta “produces a softer probability distribution over classes” (traducción: produce una distribución de probabilidad más suave entre las clases). Sus resultados en MNIST:

| Modelo | Errores de prueba |
| --- | --- |
| Red maestra grande | 67 |
| Red pequeña, entrenada solo con etiquetas | 146 |
| La misma red pequeña, destilada con T = 20 | 74 |

Con los LLM, la destilación suele usar texto generado en lugar de probabilidades. El maestro escribe respuestas y el alumno se somete a [fine-tuning](https://broadrouter.com/es/glossary/fine-tuning/) con ellas. El artículo de DeepSeek-R1 informa que los patrones de razonamiento de los modelos grandes pueden guiar a otros más pequeños. Su ficha de modelo enumera seis modelos destilados de 1.5B a 70B parámetros, construidos sobre bases Qwen2.5 y Llama y ajustados con datos de razonamiento generados por DeepSeek-R1.

## Por qué importa

-   **Costo y velocidad.** Un modelo más pequeño necesita menos memoria de GPU y genera más rápido, lo que se nota en los precios por token y en la latencia.
-   **Habilidad más acotada.** Un alumno es fuerte donde se entrenó y más débil en lo demás. Pruébelo con sus propias tareas en lugar de fiarse del benchmark del maestro.
-   **Combinación.** La destilación se combina con la [cuantización](https://broadrouter.com/es/glossary/quantization/) y [LoRA](https://broadrouter.com/es/glossary/lora/) en entornos autoalojados.
-   **Licencias.** La licencia o los términos de la API del maestro deciden si puede entrenar con sus salidas.

## En BroadNet Inference

La [referencia de la API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-distillation&utm_content=body#models) de BroadNet no indica si alguno de sus modelos se destiló, así que no lo dé por hecho. Las diferencias de precio entre modelos sí muestran por qué importan los modelos pequeños: BroadNet Gemma 4 VL 26B figura a $0.22 por 1M de tokens de salida, frente a $3.46 de GLM 5.3. Si el modelo más pequeño es suficiente lo decide su propia evaluación. El artículo sobre el [mejor modelo abierto para agentes de programación](https://broadrouter.com/es/blog/best-open-model-for-coding-agents/) compara las opciones por tarea.

## Preguntas frecuentes

### ¿Qué diferencia hay entre destilación y cuantización?

La destilación entrena un modelo nuevo y más pequeño. La cuantización mantiene el mismo modelo y guarda sus pesos con menor precisión. Ambas abaratan la inferencia y se pueden combinar.

### ¿Un modelo destilado es tan bueno como el maestro?

Normalmente no en todas las tareas, pero puede acercarse en las tareas para las que se destiló. En la prueba con MNIST de Hinton, Vinyals y Dean, la red pequeña destilada cometió 74 errores frente a los 67 del maestro.

### ¿Está permitido destilar el modelo de otro proveedor?

Lea la licencia o los términos de la API del modelo maestro antes de entrenar con sus salidas. Difieren en este punto y algunos lo restringen.

## Vea también

-   [Fine-tuning (ajuste fino)](https://broadrouter.com/es/glossary/fine-tuning/) (término)
-   [LoRA (adaptación de bajo rango)](https://broadrouter.com/es/glossary/lora/) (término)
-   [Cuantización (quantization)](https://broadrouter.com/es/glossary/quantization/) (término)
-   [Temperatura (temperature)](https://broadrouter.com/es/glossary/temperature/) (término)
-   [Modelo de pesos abiertos (open-weight model)](https://broadrouter.com/es/glossary/open-weight-model/) (término)
-   [¿Por qué un modelo de razonamiento devuelve una respuesta vacía?](https://broadrouter.com/es/guides/reasoning-tokens-empty-response/) (guía)
-   [Modelos abiertos vs. cerrados para empresas: costo, control y riesgo](https://broadrouter.com/es/blog/open-weight-vs-closed-models/) (artículo)
-   [Mejor modelo abierto para agentes: herramientas, contexto y costo](https://broadrouter.com/es/blog/best-open-model-for-coding-agents/) (artículo)

Pruébelo con su carga de trabajo real. Las cuentas nuevas empiezan con USD 5 de crédito para Gemma y transcripción. DeepSeek, GLM y Qwen3.8 requieren una recarga.

[Comenzar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-distillation&utm_content=page-cta) ·

**Fuentes**

-   [Hinton, Vinyals y Dean (2015), Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI (2025), artículo de DeepSeek-R1](https://arxiv.org/abs/2501.12948)
-   [Ficha del modelo DeepSeek-R1 en Hugging Face (modelos destilados)](https://huggingface.co/deepseek-ai/DeepSeek-R1)
