Colapso de representación
term_id: representation_collapse
Category: basic_concepts
Definition
El colapso de representación ocurre cuando una red neuronal, particularmente en marcos de aprendizaje contrastivo autosupervisado, aprende a mapear todos los puntos de datos de entrada al mismo vector de salida fijo. Esta solución trivial elimina la utilidad de las características aprendidas para distinguir entre diferentes muestras.
Summary
Un modo de fallo en el aprendizaje autosupervisado donde el modelo produce representaciones idénticas para todas las entradas, perdiendo poder discriminativo.
Key Concepts
- Aprendizaje Autosupervisado
- Pérdida Contrastiva
- Soluciones Triviales
- Aprendizaje de Características
Use Cases
- Depuración de modelos SimCLR o MoCo
- Mejora de Funciones de Pérdida Contrastiva
- Análisis de la Convergencia del Modelo