Les grands modèles coûtent cher à servir. La distillation transfère ce que sait un grand modèle dans un petit.
Comment ça marche
Hinton, Vinyals et Dean ont décrit la forme moderne en 2015. Les probabilités de sortie du maître deviennent des « soft targets » (traduction : « cibles souples ») pour l’élève. Une étiquette simple dit seulement « c’est un 7 ». Les probabilités du maître disent en plus que ça ressemble un peu à un 1 et pas du tout à un 4, et ce signal supplémentaire aide l’élève à apprendre.
Pour le faire ressortir, ils augmentent la température du softmax. L’article note qu’un T plus élevé « produces a softer probability distribution over classes » (traduction : « produit une distribution de probabilités plus douce sur les classes »). Leurs résultats sur MNIST :
| Modèle | Erreurs de test |
|---|---|
| Grand réseau maître | 67 |
| Petit réseau, entraîné sur les seules étiquettes | 146 |
| Même petit réseau, distillé à T = 20 | 74 |
Avec les LLM, la distillation utilise souvent du texte généré plutôt que des probabilités. Le maître écrit des réponses, et l’élève fait l’objet d’un fine-tuning sur celles-ci. L’article sur DeepSeek-R1 rapporte que les schémas de raisonnement des grands modèles peuvent guider les plus petits. Sa fiche de modèle liste six modèles distillés de 1,5B à 70B paramètres, construits sur des bases Qwen2.5 et Llama et affinés sur des données de raisonnement générées par DeepSeek-R1.
Pourquoi c’est important
- Coût et vitesse. Un modèle plus petit demande moins de mémoire GPU et génère plus vite, ce qui se voit dans les prix au token et la latence.
- Compétence plus étroite. Un élève est fort là où il a été entraîné et plus faible ailleurs. Testez-le sur vos propres tâches au lieu de vous fier au benchmark du maître.
- Combinaison. Dans les déploiements auto-hébergés, la distillation se combine avec la quantification et LoRA.
- Licence. La licence ou les conditions d’API du maître déterminent si vous pouvez entraîner sur ses sorties.
Sur BroadNet Inference
La référence de l’API de BroadNet ne précise pas si l’un de ses modèles a été distillé : ne le supposez donc pas. Les écarts de prix entre modèles montrent en revanche pourquoi les petits modèles comptent : BroadNet Gemma 4 VL 26B est affiché à $0.22 par million de tokens de sortie, contre $3.46 pour GLM 5.3. Savoir si le plus petit modèle suffit relève de votre propre évaluation. L’article sur le meilleur modèle ouvert pour les agents de code compare les options par tâche.