Fill Mask
term_id: fill_mask
Category: basic_concepts
Definition
Fill Mask è un obiettivo fondamentale di pre-addestramento utilizzato nei modelli basati su transformer come BERT. Il processo consiste nel mascherare token casuali in una sequenza di testo e addestrare il modello a prevedere i valori originali.
Summary
Un compito di elaborazione del linguaggio naturale in cui un modello prevede token mancanti all’interno di una frase basandosi sul contesto circostante.
Key Concepts
- Modellazione del linguaggio mascherata
- Comprensione contestuale
- Apprendimento auto-supervisionato
- Predizione di token
Use Cases
- Completamento del testo
- Etichettatura dei ruoli semantici
- Fondazione del pre-addestramento