Collasso della rappresentazione
term_id: representation_collapse
Category: basic_concepts
Definition
Il collasso della rappresentazione si verifica quando una rete neurale, in particolare nei framework di apprendimento contrastivo auto-supervisionato, impara a mappare tutti i punti dati di input sullo stesso vettore di output fisso. Questa soluzione banale riduce la perdita ma elimina l’utilità del modello per compiti successivi.
Summary
Una modalità di fallimento nell’apprendimento auto-supervisionato in cui il modello produce rappresentazioni identiche per tutti gli input, perdendo il potere discriminativo.
Key Concepts
- Apprendimento Auto-Supervisionato
- Perdita Contrastiva
- Soluzioni Banali
- Apprendimento delle Caratteristiche
Use Cases
- Debugging di modelli SimCLR o MoCo
- Miglioramento delle Funzioni di Perdita Contrastiva
- Analisi della Convergenza del Modello