Repræsentationskollaps
term_id: representation_collapse
Category: basic_concepts
Definition
Repræsentationskollaps opstår, når et neuronnetværk, især i selvovervågede kontrastive læringsrammer, lærer at kortlægge alle datapunkter til den samme faste outputvektor. Dette trivielle resultat fjerner modellens evne til at differentiere mellem forskellige input.
Summary
En fejlmåde inden for selvovervåget læring, hvor modellen udsender identiske repræsentationer for alle inputs, hvilket mister diskriminerende kraft.
Key Concepts
- Selvovervåget Læring
- Kontraktiv Tab
- Trivielle Løsninger
- Funktionlæring
Use Cases
- Fejlsøgning af SimCLR- eller MoCo-modeller
- Forbedring af Kontraktive Tab-funktioner
- Analyse af Modellens Konvergens