Klip
term_id: clip
Category: engineering_practice
Definition
Dalam rekayasa pembelajaran mendalam, klip sering diterapkan pada gradien untuk mengatasi masalah gradien meledak, memastikan backpropagasi yang stabil. Teknik ini juga dapat merujuk pada pembatasan logit keluaran sebelum fungsi aktivasi.
Summary
Klip adalah teknik yang digunakan untuk membatasi besaran nilai, seperti gradien atau probabilitas keluaran, untuk mencegah ketidakstabilan numerik selama pelatihan.
Key Concepts
- Klip Gradien
- Stabilitas Numerik
- Gradien Meledak
- Regularisasi
Use Cases
- Pelatihan jaringan saraf berulang
- Menstabilkan pelatihan transformator
- Mencegah divergensi kerugian