Prädiktives Lernen
term_id: predictive_learning
Category: training_techniques
Definition
Prädiktives Lernen beinhaltet das Training neuronaler Netze, um nicht beobachtete Datenpunkte aus beobachteten Eingaben ohne explizite menschliche Etiketten zu erschließen. Durch das Lösen von Aufgaben wie der Vorhersage des nächsten Tokens in der Sprache oder der Maskierung (masked modeling) lernen die Modelle robuste Merkmalsdarstellungen.
Summary
Ein selbstüberwachter Ansatz, bei dem Modelle Repräsentationen lernen, indem sie fehlende Teile der Eingabedaten vorhersagen.
Key Concepts
- Selbstüberwachung
- Maskiertes Modellieren
- Repräsentationslernen
- Ungelabelte Daten
Use Cases
- Pretraining großer Sprachmodelle
- Aufgaben zur Bildinpainting (Vervollständigung)
- Anomalieerkennung in Zeitreihen