Isi Masker
term_id: fill_mask
Category: basic_concepts
Definition
Isi Masker adalah tujuan pra-pelatihan fundamental yang digunakan dalam model berbasis transformer seperti BERT. Proses ini melibatkan penyamaran token acak dalam urutan teks dan melatih model untuk memprediksi token asli yang disembunyikan tersebut.
Summary
Tugas pemrosesan bahasa alami di mana model memprediksi token yang hilang dalam kalimat berdasarkan konteks sekitarnya.
Key Concepts
- Pemodelan Bahasa Masker
- Pemahaman Kontekstual
- Pembelajaran Swa-Pengawasan
- Prediksi Token
Use Cases
- Penyelesaian teks
- Pelabelan peran semantik
- Fondasi pra-pelatihan