samodzielnie nadzorowany
term_id: self_supervised
Category: training_techniques
Definition
Uczenie samodzielnie nadzorowane jest podzbiorem uczenia maszynowego, w którym sygnał nadzorujący jest wyprowadzany automatycznie z samych danych, eliminując potrzebę ręcznego oznaczania. Model zazwyczaj rozwiązuje pozornie trudne zadania pomocnicze (tzw. pretext tasks), takie jak przewidywanie ukrytych części danych, co prowadzi do wytworzenia bogatych i uniwersalnych reprezentacji danych.
Summary
Uczenie samodzielnie nadzorowane to technika, w której model generuje własne etykiety z danych wejściowych, ucząc się reprezentacji bez potrzeby ręcznej anotacji przez człowieka.
Key Concepts
- Zadania pomocnicze (Pretext Tasks)
- Modelowanie maskujące (Masked Modeling)
- Dane bez etykiet (Unlabeled Data)
- Uczenie reprezentacji (Representation Learning)
Use Cases
- Trening modelu BERT poprzez modelowanie językowe z maskowaniem
- Uczenie kontrastowe do tworzenia wektorów obrazów
- Przewidywanie następnych tokenów w dużych modelach językowych (LLM)