itsenäisesti valvottu
term_id: self_supervised
Category: training_techniques
Definition
Itsenäinen valvottu oppiminen on osa koneoppimista, jossa valvontasignaali johdetaan automaattisesti itse datasta, mikä poistaa tarpeen manuaaliseen merkitsemiseen. Malli ratkaisee yleensä keinotekoisesti luotuja tehtäviä (pretext tasks), kuten puuttuvien sanojen ennustamista tekstissä, oppien samalla hyödyllisiä datan rakenteita ja esityksiä.
Summary
Itsenäinen valvottu oppiminen on tekniikka, jossa malli luo omat tunnisteensa syöttödatan perusteella oppiakseen esityksiä ilman ihmisen tekemää annotointia.
Key Concepts
- Esitehtävät (Pretext Tasks)
- Peitetty mallintaminen (Masked Modeling)
- Merkitsemätön data (Unlabeled Data)
- Esitysten oppiminen (Representation Learning)
Use Cases
- BERT-mallin koulutus peitetyllä kielimallinnuksella
- Kontrastiivinen oppiminen kuvaeembeddingsien luomiseen
- Seuraavien tokenien ennustaminen suurissa kielimalleissa