Wypełnianie maski
term_id: fill_mask
Category: basic_concepts
Definition
Wypełnianie maski to podstawowy cel wstępnego trenowania stosowany w modelach opartych na transformatorach, takich jak BERT. Proces ten polega na maskowaniu losowych tokenów w sekwencji tekstu i trenowaniu modelu do ich przewidywania.
Summary
Zadanie przetwarzania języka naturalnego, w którym model przewiduje brakujące tokeny w zdaniu na podstawie otaczającego kontekstu.
Key Concepts
- Maskowane modelowanie językowe
- Zrozumienie kontekstowe
- Uczenie nadzorowane bez nadzoru (self-supervised learning)
- Predykcja tokenów
Use Cases
- Uzupełnianie tekstu
- Oznaczanie ról semantycznych
- Podstawa wstępnego trenowania