Zapadanie reprezentacji
term_id: representation_collapse
Category: basic_concepts
Definition
Zapadanie reprezentacji występuje, gdy sieć neuronowa, szczególnie w ramach kontrastywnego uczenia samonadzorowanego, uczy się mapowania wszystkich punktów danych wejściowych na ten sam stały wektor wyjściowy. Jest to trywialne rozwiązanie, które uniemożliwia modelowi nauczenie się sensownych cech danych.
Summary
Tryb awarii w uczeniu samonadzorowanym, w którym model generuje identyczne reprezentacje dla wszystkich danych wejściowych, tracąc zdolność dyskryminacyjną.
Key Concepts
- Uczenie samonadzorowane
- Strata kontrastywna
- Rozwiązania trywialne
- Uczenie cech
Use Cases
- Debugowanie modeli SimCLR lub MoCo
- Poprawa funkcji straty kontrastywnej
- Analiza zbieżności modelu