Vyplnění masky
term_id: fill_mask
Category: basic_concepts
Definition
Vyplnění masky je základním cílem předvýcviku používaným v modelech založených na transformerech, jako je BERT. Proces zahrnuje maskování náhodných tokenů v textové posloupnosti a trénování modelu, aby předpověděl původní hodnoty těchto tokenů.
Summary
Úkol zpracování přirozeného jazyka, kde model předpovídá chybějící tokeny ve větě na základě okolního kontextu.
Key Concepts
- Maskované modelování jazyka
- Chápání kontextu
- Samo-supervizní učení
- Predikce tokenů
Use Cases
- Doplňování textu
- Označování sémantických rolí
- Základ pro předvýcvik