Mask invullen
term_id: fill_mask
Category: basic_concepts
Definition
Mask invullen is een fundamenteel doelwit voor voorafgaande training (pre-training) dat wordt gebruikt in op transformers gebaseerde modellen zoals BERT. Het proces omvat het maskeren van willekeurige tokens in een tekstsequentie en het trainen van het model om de originele tokens te voorspellen.
Summary
Een taak voor natuurlijke taalverwerking waarbij een model ontbrekende tokens in een zin voorspelt op basis van de omliggende context.
Key Concepts
- Gemaskerd taalmodelleren
- Contextueel begrip
- Zelfsupervised leren
- Tokenvoorspelling
Use Cases
- Tekstvoltooiing
- Semantische rolmarkering
- Fundering voor voorafgaande training