Pembelajaran prediktif
term_id: predictive_learning
Category: training_techniques
Definition
Pembelajaran prediktif melibatkan pelatihan jaringan saraf untuk menyimpulkan titik data yang tidak diamati dari masukan yang diamati tanpa label manusia yang eksplisit. Dengan memecahkan tugas seperti prediksi token berikutnya dalam bahasa atau pemodelan tersembunyi (masked modeling), model dapat menangkap struktur dan pola intrinsik dari data tanpa memerlukan anotasi manual yang intensif.
Summary
Pendekatan self-supervised di mana model mempelajari representasi dengan memprediksi bagian yang hilang dari data masukan.
Key Concepts
- Self-supervisi
- Pemodelan tersembunyi (Masked modeling)
- Pembelajaran representasi
- Data tanpa label
Use Cases
- Pra-pelatihan model bahasa besar (LLM)
- Tugas inpainting gambar
- Deteksi anomali pada deret waktu