Selbstüberwacht (Self-Supervised)
term_id: self_supervised
Category: training_techniques
Definition
Selbstüberwachtes Lernen ist ein Teilbereich des maschinellen Lernens, bei dem das Überwachungssignal automatisch aus den Daten selbst abgeleitet wird, wodurch manuelle Beschriftungen entfallen. Das Modell löst typischerweise sogenannte pretext tasks (Hilfsaufgaben), wie das Vorhersagen fehlender Teile einer Eingabe, um daraus nützliche Merkmalsrepräsentationen zu extrahieren.
Summary
Selbstüberwachtes Lernen ist eine Technik, bei der das Modell seine eigenen Labels aus den Eingabedaten generiert, um Repräsentationen ohne menschliche Annotation zu erlernen.
Key Concepts
- Hilfsaufgaben (Pretext Tasks)
- Maskiertes Modellieren
- Unbeschriftete Daten
- Repräsentationslernen
Use Cases
- Training von BERT durch maskierte Sprachmodellierung
- Kontrastives Lernen für Bild-Embeddings
- Vorhersage des nächsten Tokens in LLMs