Fyll maske
term_id: fill_mask
Category: basic_concepts
Definition
Fyll maske er et grunnleggende mål for forhåndstrening brukt i transformer-baserte modeller som BERT. Prosessen involverer å maskere tilfeldige tokens i en tekstsekvens og trene modellen på å forutsi de opprinnelige.
Summary
En oppgave innen bearbeiding av naturlig språk der en modell forutsier manglende tokens i en setning basert på omgivelsene.
Key Concepts
- Maskert språkmodellering
- Kontekstuell forståelse
- Selvlært læring
- Tokenforutsigelse
Use Cases
- Tekstfullføring
- Semantisk rollemerking
- Forhåndstrening som fundament