zelfsuperviseerd
term_id: self_supervised
Category: training_techniques
Definition
Zelfsupervised learning is een subset van machine learning waarbij het supervisie-signaal automatisch uit de gegevens zelf wordt afgeleid, waardoor handmatige labeling overbodig wordt. Het model lost meestal pretext-taken op, zoals het voorspellen van ontbrekende woorden in tekst.
Summary
Zelfsupervised learning is een techniek waarbij het model zijn eigen labels genereert uit invoergegevens om representaties te leren zonder menselijke annotatie.
Key Concepts
- Pretext Tasks
- Masked Modeling
- Unlabeled Data
- Representation Learning
Use Cases
- BERT trainen via masked language modeling
- Contrastive learning voor afbeeldingsembeddings
- Volgende tokens voorspellen in LLM’s