Fyll mask
term_id: fill_mask
Category: basic_concepts
Definition
Fill Mask är ett grundläggande mål för förträning som används i transformerbaserade modeller som BERT. Processen innebär att slumpmässiga token i en textsekvens maskeras och modellen tränas för att förutsäga de ursprungliga orden eller symbolerna baserat på den kvarvarande kontexten.
Summary
En uppgift inom bearbetning av naturligt språk där en modell förutsäger saknade token i en mening baserat på omgivande kontext.
Key Concepts
- Maskerad språkmodellering
- Kontextuell förståelse
- Självövervakad inlärning
- Tokenförutsägelse
Use Cases
- Textkomplettering
- Semantisk rollbeskrivning
- Grund för förträning