---
title: "Qu’est-ce que la distillation de modèle ? Maître et élève"
description: "La distillation entraîne un petit modèle élève à imiter un modèle maître plus grand, moins cher à faire tourner. Cibles souples et modèles de raisonnement distillés."
url: https://broadrouter.com/fr/glossary/distillation/
lang: fr
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduit de l’anglais avec l’aide de l’IA. [Lire l’original en anglais](https://broadrouter.com/glossary/distillation/) (mis à jour le 2026-11-16).

# Distillation (knowledge distillation)

Mis à jour 2026-11-16

La distillation, ou distillation des connaissances, est une méthode d’entraînement dans laquelle un modèle élève plus petit apprend à reproduire les sorties d’un modèle maître plus grand, comme ses distributions de probabilités ou ses réponses générées, afin de conserver une grande partie de sa qualité pour un coût d’exécution moindre.

Aussi appelé : distillation, distillation des connaissances, distillation de modèle, modèle distillé, entraînement maître-élève, knowledge distillation, model distillation, distilled model, teacher-student training

Les grands modèles coûtent cher à servir. La distillation transfère ce que sait un grand modèle dans un petit.

## Comment ça marche

Hinton, Vinyals et Dean ont décrit la forme moderne en 2015. Les probabilités de sortie du maître deviennent des « soft targets » (traduction : « cibles souples ») pour l’élève. Une étiquette simple dit seulement « c’est un 7 ». Les probabilités du maître disent en plus que ça ressemble un peu à un 1 et pas du tout à un 4, et ce signal supplémentaire aide l’élève à apprendre.

Pour le faire ressortir, ils augmentent la [température](https://broadrouter.com/fr/glossary/temperature/) du softmax. L’article note qu’un T plus élevé « produces a softer probability distribution over classes » (traduction : « produit une distribution de probabilités plus douce sur les classes »). Leurs résultats sur MNIST :

| Modèle | Erreurs de test |
| --- | --- |
| Grand réseau maître | 67 |
| Petit réseau, entraîné sur les seules étiquettes | 146 |
| Même petit réseau, distillé à T = 20 | 74 |

Avec les LLM, la distillation utilise souvent du texte généré plutôt que des probabilités. Le maître écrit des réponses, et l’élève fait l’objet d’un [fine-tuning](https://broadrouter.com/fr/glossary/fine-tuning/) sur celles-ci. L’article sur DeepSeek-R1 rapporte que les schémas de raisonnement des grands modèles peuvent guider les plus petits. Sa fiche de modèle liste six modèles distillés de 1,5B à 70B paramètres, construits sur des bases Qwen2.5 et Llama et affinés sur des données de raisonnement générées par DeepSeek-R1.

## Pourquoi c’est important

-   **Coût et vitesse.** Un modèle plus petit demande moins de mémoire GPU et génère plus vite, ce qui se voit dans les prix au token et la latence.
-   **Compétence plus étroite.** Un élève est fort là où il a été entraîné et plus faible ailleurs. Testez-le sur vos propres tâches au lieu de vous fier au benchmark du maître.
-   **Combinaison.** Dans les déploiements auto-hébergés, la distillation se combine avec la [quantification](https://broadrouter.com/fr/glossary/quantization/) et [LoRA](https://broadrouter.com/fr/glossary/lora/).
-   **Licence.** La licence ou les conditions d’API du maître déterminent si vous pouvez entraîner sur ses sorties.

## Sur BroadNet Inference

La [référence de l’API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-distillation&utm_content=body#models) de BroadNet ne précise pas si l’un de ses modèles a été distillé : ne le supposez donc pas. Les écarts de prix entre modèles montrent en revanche pourquoi les petits modèles comptent : BroadNet Gemma 4 VL 26B est affiché à $0.22 par million de tokens de sortie, contre $3.46 pour GLM 5.3. Savoir si le plus petit modèle suffit relève de votre propre évaluation. L’article sur le [meilleur modèle ouvert pour les agents de code](https://broadrouter.com/fr/blog/best-open-model-for-coding-agents/) compare les options par tâche.

## Questions fréquentes

### Quelle différence entre distillation et quantification ?

La distillation entraîne un nouveau modèle, plus petit. La quantification garde le même modèle et stocke ses poids avec une précision réduite. Les deux rendent l’inférence moins chère, et on peut les combiner.

### Un modèle distillé est-il aussi bon que son maître ?

En général pas sur toutes les tâches, mais il peut s’en approcher sur celles pour lesquelles il a été distillé. Dans le test MNIST de Hinton, Vinyals et Dean, le petit réseau distillé faisait 74 erreurs, contre 67 pour le maître.

### A-t-on le droit de distiller le modèle d’un autre fournisseur ?

Lisez la licence ou les conditions d’API du modèle maître avant d’entraîner sur ses sorties. Elles diffèrent sur ce point, et certaines le restreignent.

## Voir aussi

-   [Fine-tuning (affinage d’un modèle)](https://broadrouter.com/fr/glossary/fine-tuning/) (terme)
-   [LoRA (low-rank adaptation)](https://broadrouter.com/fr/glossary/lora/) (terme)
-   [Quantification (quantization)](https://broadrouter.com/fr/glossary/quantization/) (terme)
-   [Température (temperature)](https://broadrouter.com/fr/glossary/temperature/) (terme)
-   [Modèle open-weight (à poids ouverts)](https://broadrouter.com/fr/glossary/open-weight-model/) (terme)
-   [Pourquoi un modèle de raisonnement renvoie une réponse vide](https://broadrouter.com/fr/guides/reasoning-tokens-empty-response/) (guide)
-   [IA open-weight ou fermée en entreprise : coût, contrôle, risque](https://broadrouter.com/fr/blog/open-weight-vs-closed-models/) (article)
-   [Meilleur modèle ouvert pour agents de code : outils, contexte, coût](https://broadrouter.com/fr/blog/best-open-model-for-coding-agents/) (article)

Essayez-le sur votre vraie charge de travail. Les nouveaux comptes démarrent avec USD 5 de crédit pour Gemma et transcription. DeepSeek, GLM et Qwen3.8 nécessitent une recharge.

[Commencer](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-distillation&utm_content=page-cta) ·

**Sources**

-   [Hinton, Vinyals et Dean (2015), Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI (2025), article de recherche sur DeepSeek-R1](https://arxiv.org/abs/2501.12948)
-   [Fiche du modèle DeepSeek-R1 sur Hugging Face (modèles distillés)](https://huggingface.co/deepseek-ai/DeepSeek-R1)
