auto-supervisé
term_id: self_supervised
Category: training_techniques
Definition
L’apprentissage auto-supervisé est un sous-ensemble de l’apprentissage automatique où le signal de supervision est dérivé automatiquement des données elles-mêmes, éliminant ainsi le besoin d’étiquetage manuel. Le modèle résout généralement
Summary
L’apprentissage auto-supervisé est une technique où le modèle génère ses propres étiquettes à partir des données d’entrée pour apprendre des représentations sans annotation humaine.
Key Concepts
- Tâches prétextes
- Modélisation masquée
- Données non étiquetées
- Apprentissage de représentations
Use Cases
- Entraînement de BERT via la modélisation du langage masquée
- Apprentissage contrastif pour les embeddings d’images
- Prédiction des jetons suivants dans les LLM