Reprezentáció összeomlása
term_id: representation_collapse
Category: basic_concepts
Definition
A reprezentáció összeomlása akkor következik be, amikor egy neurális hálózat – különösen az önfelügyelt kontrasztív tanítási keretrendszerekben – megtanulja az összes bemeneti adatpontot ugyanarra a rögzített kimeneti vektorra leképezni. Ez egy triviális megoldás, amely nem tanul hasznos jellemzőket.
Summary
Egy kudarcmodusz az önfelügyelt tanulásban, ahol a modell minden bemenetre azonos reprezentációt ad ki, elveszítve megkülönböztető erejét.
Key Concepts
- Önfelügyelt tanulás
- Kontrasztív veszteség
- Triviális megoldások
- Jellemzőtanulás
Use Cases
- SimCLR vagy MoCo modellek hibakeresése
- Kontrasztív veszteségfüggvények fejlesztése
- Modell konvergencia elemzése