terawasi mandiri
term_id: self_supervised
Category: training_techniques
Definition
Pembelajaran terawasi mandiri adalah subset dari pembelajaran mesin di mana sinyal pengawasan diturunkan secara otomatis dari data itu sendiri, menghilangkan kebutuhan akan pelabelan manual. Model biasanya menyelesaikan tugas pretext untuk belajar representasi data.
Summary
Pembelajaran terawasi mandiri adalah teknik di mana model menghasilkan labelnya sendiri dari data masukan untuk mempelajari representasi tanpa anotasi manusia.
Key Concepts
- Tugas Preteks
- Pemodelan Masker
- Data Tanpa Label
- Pembelajaran Representasi
Use Cases
- Melatih BERT melalui pemodelan bahasa masker
- Pembelajaran kontras untuk embedding gambar
- Memprediksi token berikutnya dalam LLM