auto-supervisionato
term_id: self_supervised
Category: training_techniques
Definition
L’apprendimento auto-supervisionato è un sottoinsieme del machine learning in cui il segnale di supervisione è derivato automaticamente dai dati stessi, eliminando la necessità di etichettatura manuale. Il modello risolve tipicamente compiti ausiliari (pretest tasks) progettati per sfruttare la struttura intrinseca dei dati non etichettati, imparando così rappresentazioni utili che possono essere trasferite ad altri compiti.
Summary
L’apprendimento auto-supervisionato è una tecnica in cui il modello genera automaticamente le proprie etichette dai dati di input per apprendere rappresentazioni senza annotazione umana.
Key Concepts
- Compiti ausiliari (Pretext Tasks)
- Modellazione mascherata (Masked Modeling)
- Dati non etichettati
- Apprendimento di rappresentazioni (Representation Learning)
Use Cases
- Addestramento di BERT tramite modellazione del linguaggio mascherata
- Apprendimento contrastivo per embedding di immagini
- Predizione dei token successivi nei LLM