Representatie-instorting
term_id: representation_collapse
Category: basic_concepts
Definition
Representatie-instorting treedt op wanneer een neurale netwerk, met name in zelfsuperviseerde contrastieve leerframeworks, leert om alle invoergegevenspunten naar dezelfde vaste uitvoervector af te beelden. Dit is een triviale oplossing die de nuttige structuur in de gegevens negeert.
Summary
Een falingsmodus in zelfsuperviseerd leren waarbij het model identieke representaties uitvoert voor alle invoer, waardoor het discriminerend vermogen verloren gaat.
Key Concepts
- Zelfsuperviseerd leren
- Contrastief verlies
- Triviale oplossingen
- Kenmerkleren
Use Cases
- Foutopsporing in SimCLR- of MoCo-modellen
- Verbeteren van contrastieve verliesfuncties
- Analyseren van convergentie van modellen