Darstellungskollaps
term_id: representation_collapse
Category: basic_concepts
Definition
Darstellungskollaps tritt auf, wenn ein neuronales Netz, insbesondere in selbstüberwachten kontrastiven Lernrahmenwerken, lernt, alle Eingabedatenpunkte auf denselben festen Ausgabvektor abzubilden. Dies ist eine triviale Lösung, die verhindert, dass das Modell sinnvolle Merkmale lernt.
Summary
Ein Fehlermodus im selbstüberwachten Lernen, bei dem das Modell für alle Eingaben identische Darstellungen ausgibt und dabei seine Unterscheidungskraft verliert.
Key Concepts
- Selbstüberwachtes Lernen
- Kontrastiver Verlust
- Triviale Lösungen
- Merkmalslernen
Use Cases
- Fehlersuche in SimCLR- oder MoCo-Modellen
- Verbesserung kontrastiver Verlustfunktionen
- Analyse der Modellkonvergenz