auto-supervizat
term_id: self_supervised
Category: training_techniques
Definition
Învățarea auto-supervizată este un subdomeniu al învățării automate în care semnalul de supraveghere este derivat automat din datele însuși, eliminând nevoia de etichetare manuală. Modelul rezolvă de obicei o sarcină pretext (cum ar fi completarea cuvintelor lipsă) pentru a învăța reprezentări utile ale datelor, care pot fi apoi utilizate pentru diverse sarcini downstream.
Summary
Învățarea auto-supervizată este o tehnică în care modelul generează propriile etichete din datele de intrare pentru a învăța reprezentări fără annotare umană.
Key Concepts
- Sarcini pretext (Pretext Tasks)
- Modelare mascată (Masked Modeling)
- Date netichetate (Unlabeled Data)
- Învățarea reprezentărilor (Representation Learning)
Use Cases
- Antrenarea BERT prin modelarea limbajului mascate
- Învățarea contrastivă pentru încorporări de imagini
- Predicerea următoarelor token-uri în modelele lingvistice mari (LLMs)