Apprentissage auto-supervisé
term_id: self_supervised_learning
Category: training_techniques
Definition
L’apprentissage auto-supervisé est une technique où l’algorithme crée des signaux de supervision à partir des données non étiquetées elles-mêmes, généralement en prédisant des parties manquantes de l’entrée. Il comble le fossé entre l’apprentissage non supervisé et supervisé, permettant d’exploiter de vastes quantités de données brutes sans annotation manuelle coûteuse.
Summary
Une méthode d’entraînement où le modèle génère ses propres étiquettes à partir des données d’entrée pour apprendre des représentations.
Key Concepts
- Pré-entraînement
- Modélisation du langage masquée
- Apprentissage contrastif
- Apprentissage de représentation
Use Cases
- Entraînement de grands modèles de langage
- Apprentissage de représentations d’images
- Systèmes de reconnaissance vocale
Code Example
| |