selvovervåket
term_id: self_supervised
Category: training_techniques
Definition
Selvovervåket læring er en delmengde av maskinlæring der overvåkningssignalet automatisk utledes fra dataene selv, noe som eliminerer behovet for manuell merking. Modellen løser typisk underordnede ’tekstoppgaver’ (pretext tasks) designet for å lære meningsfulle representasjoner av datastrukturen.
Summary
Selvovervåket læring er en teknikk der modellen genererer sine egne etiketter fra inputdata for å lære representasjoner uten menneskelig annotering.
Key Concepts
- Tekstoppgaver
- Maskert modellering
- Umerkede data
- Representasjonslæring
Use Cases
- Trening av BERT via maskert språkmodellering
- Kontrastiv læring for bildeinnbindinger (embeddings)
- Prediktering av neste tokens i store språkmodeller