Remplissage de masque
term_id: fill_mask
Category: basic_concepts
Definition
Le remplissage de masque est un objectif d’apprentissage préliminaire fondamental utilisé dans les modèles basés sur des transformateurs comme BERT. Le processus consiste à masquer aléatoirement des jetons dans une séquence de texte et à entraîner le modèle à prédire les valeurs originales.
Summary
Une tâche de traitement du langage naturel où un modèle prédit les jetons manquants dans une phrase en fonction du contexte environnant.
Key Concepts
- Modélisation linguistique masquée
- Compréhension contextuelle
- Apprentissage auto-supervisé
- Prédiction de jetons
Use Cases
- Complétion de texte
- Étiquetage des rôles sémantiques
- Fondation de l’apprentissage préliminaire