Kolaps reprezentace
term_id: representation_collapse
Category: basic_concepts
Definition
Kolaps reprezentace nastává, když neuronová síť, zejména v rámci kontrastního sebeučení, naučí se mapovat všechny vstupní datové body na stejný pevný výstupní vektor. Jde o triviální řešení, které model ignoruje strukturu dat.
Summary
Selhání v sebeučení, kdy model generuje pro všechny vstupy identické reprezentace, čímž ztrácí diskriminační schopnosti.
Key Concepts
- Sebeučení
- Kontrastivní ztráta
- Triviální řešení
- Učení vlastností
Use Cases
- Ladění modelů SimCLR nebo MoCo
- Vylepšování funkcí kontrastivní ztráty
- Analýza konvergence modelu