Maski täyttö
term_id: fill_mask
Category: basic_concepts
Definition
Maski täyttö on perustavanlaatuinen esikoulutustavoite, jota käytetään muuntajiin perustuvissa malleissa kuten BERT. Prosessiin kuuluu satunnisten tokenien peittäminen tekstisekvenssissä ja mallin kouluttaminen ennustamaan alkuperäiset tokenit.
Summary
Luonnollisen kielen käsittelyn tehtävä, jossa malli ennustaa puuttuvat tokenit lauseen ympäröivän kontekstin perusteella.
Key Concepts
- Peitetty kielen mallintaminen
- Kontekstuaalinen ymmärrys
- Itseohjautuva oppiminen
- Tokenien ennustaminen
Use Cases
- Tekstin täydentäminen
- Semanttisen roolin merkintä
- Esikoulutuksen perusta