Predictief leren
term_id: predictive_learning
Category: training_techniques
Definition
Predictief leren omvat het trainen van neurale netwerken om niet-geobserveerde datapunten af te leiden uit geobserveerde invoer, zonder expliciete menselijke labels. Door taken op te lossen zoals het voorspellen van het volgende token in taal of het maskeren en reconstrueren van beeldgegevens, leert het model robuuste interne representaties van de onderliggende structuur van de data.
Summary
Een zelfsupervisie-methode waarbij modellen representaties leren door ontbrekende delen van invoergegevens te voorspellen.
Key Concepts
- Zelfsupervisie
- Gemaskeerd modelleren
- Representatielering
- Ongelabelde gegevens
Use Cases
- Pre-training van grote taalmodellen
- Taak van image inpainting
- Detectie van anomalieën in tijdreeksen