Selbstüberwachtes Lernen
term_id: self_supervised_learning
Category: training_techniques
Definition
Selbstüberwachtes Lernen ist eine Technik, bei der der Algorithmus aus den unbeschrifteten Daten selbst Überwachungssignale erzeugt, typischerweise durch das Vorhersagen fehlender Teile der Eingabe. Es überbrückt die Lücke zwischen unüberwachtem und…
Summary
Eine Trainingsmethode, bei der das Modell seine eigenen Labels aus den Eingabedaten generiert, um Repräsentationen zu lernen.
Key Concepts
- Pretraining
- Masked Language Modeling
- Kontrastives Lernen
- Repräsentationslernen
Use Cases
- Training großer Sprachmodelle
- Lernen von Bildrepräsentationen
- Spracherkennungssysteme
Code Example
| |