selvstyret
term_id: self_supervised
Category: training_techniques
Definition
Selvstyret læring er en delmængde af maskinlæring, hvor supervisionsignalet udledes automatisk fra dataene selv, hvilket eliminerer behovet for manuel mærkning. Modellen løser typisk ‘pretext tasks’ som at forudsige manglende ord i en sætning.
Summary
Selvstyret læring er en teknik, hvor modellen genererer sine egne etiketter fra inputdata for at lære repræsentationer uden menneskelig annotering.
Key Concepts
- Pretext Tasks (Hjælpeopgaver)
- Masked Modeling (Maskeret modellering)
- Unlabeled Data (Umærkede data)
- Representation Learning (Repræsentationslæring)
Use Cases
- Træning af BERT via maskeret sprogmodellering
- Kontrastiv læring til billedeembeddings
- Forudsigelse af næste tokens i LLM’er