Distillation
term_id: distillation
Category: training_techniques
Definition
Ce processus consiste à transférer les connaissances d’un réseau neuronal complexe et performant (le « professeur ») vers un réseau plus simple et plus efficace (l’« élève »). L’élève apprend non seulement à partir des étiquettes exactes, mais aussi des probabilités adoucies (soft targets) fournies par le professeur.
Summary
La distillation de connaissances est une technique de compression de modèle où un petit modèle « élève » apprend à imiter le comportement d’un grand modèle « professeur ».
Key Concepts
- Architecture Professeur-Élève
- Cibles adoucies (Soft Targets)
- Compression de modèle
- Efficacité de l’inférence
Use Cases
- Déploiement de grands modèles de langage sur des appareils mobiles
- Réduction de la latence dans les applications de vision par ordinateur en temps réel
- Optimisation des modèles d’apprentissage profond pour les environnements de calcul en périphérie (edge computing)