Edustuksen romahdus
term_id: representation_collapse
Category: basic_concepts
Definition
Edustuksen romahdus tapahtuu, kun neuroverkko, erityisesti itseohjautuvassa kontrastiivisessa oppimisessa, oppii kuvaamaan kaikki syötteen datapisteet samaksi kiinteäksi tulovektoriksi. Tämä triviaali
Summary
Itseohjautuvan oppimisen epäonnistumismuoto, jossa malli tuottaa identtiset edustukset kaikille syötteille menettäen erottelukykyään.
Key Concepts
- Itseohjautuva oppiminen
- Kontrastiivinen häviöfunktio
- Triviaalit ratkaisut
- Ominaisuusoppiminen
Use Cases
- SimCLR- tai MoCo-mallien vianetsintä
- Kontrastiivisten häviöfunktioiden parantaminen
- Mallin konvergenssin analysointi