Preencher Máscara (Fill Mask)
term_id: fill_mask
Category: basic_concepts
Definition
Fill Mask é um objetivo fundamental de pré-treinamento usado em modelos baseados em transformers, como o BERT. O processo envolve mascarar aleatoriamente tokens em uma sequência de texto e treinar o modelo para prever os tokens originais, melhorando assim a compreensão contextual.
Summary
Uma tarefa de processamento de linguagem natural onde um modelo prevê tokens faltantes dentro de uma frase com base no contexto circundante.
Key Concepts
- Modelagem de Linguagem Mascaramento (Masked Language Modeling)
- Compreensão Contextual
- Aprendizado Auto-supervisionado
- Predição de Tokens
Use Cases
- Completude de texto
- Rotulagem de papéis semânticos
- Fundação para pré-treinamento