Colapsul reprezentării
term_id: representation_collapse
Category: basic_concepts
Definition
Colapsul reprezentării apare când o rețea neuronală, în special în cadrele de învățare contrastivă auto-supervizată, învață să mapeze toate punctele de date de intrare la același vector de ieșire fix. Aceasta constituie o soluție trivială care nu captează structura datelor.
Summary
O stare de eșec în învățarea auto-supervizată în care modelul generează reprezentări identice pentru toate intrările, pierzându-și puterea de discriminare.
Key Concepts
- Învățare Auto-supervizată
- Funcția de Pierdere Contrastivă
- Soluții Triviale
- Învățarea Caracteristicilor
Use Cases
- Depanarea modelelor SimCLR sau MoCo
- Îmbunătățirea Funcțiilor de Pierdere Contrastive
- Analiza Convergenței Modelului