Effondrement de la représentation
term_id: representation_collapse
Category: basic_concepts
Definition
L’effondrement de la représentation se produit lorsqu’un réseau de neurones, en particulier dans les cadres d’apprentissage contrastif auto-supervisé, apprend à mapper tous les points de données d’entrée vers le même vecteur de sortie fixe. Cette solution triviale réduit l’utilité du modèle pour les tâches de downstream.
Summary
Un mode d’échec dans l’apprentissage auto-supervisé où le modèle produit des représentations identiques pour toutes les entrées, perdant ainsi son pouvoir discriminatif.
Key Concepts
- Apprentissage auto-supervisé
- Perte contrastive
- Solutions triviales
- Apprentissage de caractéristiques
Use Cases
- Débogage des modèles SimCLR ou MoCo
- Amélioration des fonctions de perte contrastive
- Analyse de la convergence du modèle