Élagage

Definition

L’élagage consiste à identifier et à éliminer les neurones, connexions ou filtres dans un réseau neuronal qui contribuent minimalement à la précision de la sortie. En supprimant ces éléments redondants, le modèle devient plus léger et plus rapide à exécuter.

Summary

Une technique de compression de modèle qui supprime les paramètres redondants ou moins significatifs pour réduire la taille et améliorer la vitesse d’inférence.

Key Concepts

• compression de modèle
• suppression de redondance
• accélération de l’inférence
• creux (sparsité)

Use Cases

• Déploiement de l’IA mobile
• Optimisation de l’informatique en périphérie (edge computing)
• Réduction des coûts d’inférence dans le cloud

Related Terms

• quantification (réduction de la précision numérique des poids du modèle)
• distillation de connaissances (transfert de connaissances d’un grand modèle à un petit modèle)
• compression de modèle (techniques pour réduire la taille et la complexité des modèles)
• réseaux creux (réseaux contenant de nombreux zéros dans leurs poids ou activations)