självövervakad
term_id: self_supervised
Category: training_techniques
Definition
Självövervakad inlärning är en delmängd av maskininlärning där övervakningssignalen härleds automatiskt från datan själv, vilket eliminerar behovet av manuell märkning. Modellen löser typiskt ett “hjälpuppgift” (pretext task) konstruerad från datan, vilket tvingar den att lära sig meningsfulla strukturer och mönster.
Summary
Självövervakad inlärning är en teknik där modellen genererar egna etiketter från indata för att lära sig representationer utan mänsklig annotering.
Key Concepts
- Hjälpuppgifter
- Maskerad modellering
- Omärkerad data
- Representationinlärning
Use Cases
- Träning av BERT via maskerad språkmodellering
- Kontrastiv inlärning för bildinbäddningar
- Att förutspå nästa token i stora språkmodeller