Fyld maske
term_id: fill_mask
Category: basic_concepts
Definition
Fyld maske er et grundlæggende prætræningsmål, der bruges i transformer-baserede modeller som BERT. Processen indebærer at maskere tilfældige tokens i en tekstsekvens og træne modellen til at forudsige de oprindelige tokens.
Summary
En opgave inden for naturlig sprogbehandling, hvor en model forudsiger manglende tokens i en sætning baseret på den omgivende kontekst.
Key Concepts
- Maskeret sprogmodellering
- Kontekstuel forståelse
- Selvtilsynslæring
- Token-forudsigelse
Use Cases
- Tekstfuldførelse
- Semantisk rollenævning
- Prætræningsfundament