Rellenar máscara
term_id: fill_mask
Category: basic_concepts
Definition
Rellenar máscara es un objetivo fundamental de preentrenamiento utilizado en modelos basados en transformadores como BERT. El proceso implica enmascarar tokens aleatorios en una secuencia de texto y entrenar al modelo para predecir los tokens originales
Summary
Una tarea de procesamiento del lenguaje natural en la que un modelo predice tokens faltantes dentro de una oración basándose en el contexto circundante.
Key Concepts
- Modelado de lenguaje enmascarado
- Comprensión contextual
- Aprendizaje autoseguido
- Predicción de tokens
Use Cases
- Completado de texto
- Etiquetado de roles semánticos
- Base de preentrenamiento