Keruntuhan Representasi
term_id: representation_collapse
Category: basic_concepts
Definition
Keruntuhan representasi terjadi ketika jaringan saraf, khususnya dalam kerangka kerja pembelajaran kontrasitif mandiri, belajar memetakan semua titik data masukan ke vektor keluaran tetap yang sama. Ini merupakan solusi sepele yang harus dihindari agar model dapat mempelajari fitur yang bermakna.
Summary
Modus kegagalan dalam pembelajaran mandiri di mana model menghasilkan representasi identik untuk semua masukan, sehingga kehilangan daya diskriminatifnya.
Key Concepts
- Pembelajaran Mandiri
- Fungsi Kerugian Kontrasitif
- Solusi Sepele
- Pembelajaran Fitur
Use Cases
- Debugging Model SimCLR atau MoCo
- Meningkatkan Fungsi Kerugian Kontrasitif
- Menganalisis Konvergensi Model