Representasjonskollaps
term_id: representation_collapse
Category: basic_concepts
Definition
Representasjonskollaps oppstår når et neuronettverk, spesielt i selvtilsyns kontrastiv læring, lærer å kartlegge alle inndata til samme faste utvektorsvektor. Dette er en triviell løsning der modellen ikke lærer meningsfulle trekk.
Summary
En feiltilstand i selvtilsynslæring der modellen produserer identiske representasjoner for alle inndata, noe som fører til tap av diskriminerende evne.
Key Concepts
- Selvtilsynslæring
- Kontraktiv Tapsfunksjon
- Trivielle Løsninger
- Funktjonslæring
Use Cases
- Feilsøking av SimCLR- eller MoCo-modeller
- Forbedring av Kontraktive Tapsfunksjoner
- Analyse av Modellkonvergens