Representationskollaps
term_id: representation_collapse
Category: basic_concepts
Definition
Representationskollaps inträffar när ett neuralt nätverk, särskilt inom kontrastiva självövervakade ramverk, lär sig att mappa alla datapunkter till samma fasta utmatningsvektor. Detta triviala lösning ignorerar den underliggande strukturen i datan.
Summary
Ett misslyckandemönster inom självövervakat lärande där modellen产ar identiska representationer för alla indata, vilket förlorar diskrimineringsförmåga.
Key Concepts
- Självövervakat lärande
- Kontraktivt förlustmått
- Triviala lösningar
- Funktionlärande
Use Cases
- Felsökning av SimCLR- eller MoCo-modeller
- Förbättring av Kontraktiva Förlustfunktioner
- Analys av Modellkonvergens