Divergensi
term_id: divergence
Category: basic_concepts
Definition
Dalam konteks optimasi, divergensi terjadi ketika parameter model diperbarui dengan cara yang menyebabkan kerugian meningkat alih-alih menurun, sering kali menyebabkan nilai NaN atau gradien tak hingga. Ini biasanya disebabkan oleh tingkat pembelajaran yang terlalu tinggi atau masalah numerik.
Summary
Divergensi mengacu pada kegagalan fungsi kerugian algoritma pembelajaran mesin untuk menurun selama pelatihan, yang mengakibatkan kinerja yang tidak stabil atau memburuk.
Key Concepts
- Ledakan Kerugian
- Sensitivitas Tingkat Pembelajaran
- Ketidakstabilan Gradien
- Presisi Numerik
Use Cases
- Men-debug loop pelatihan dalam kerangka kerja pembelajaran mendalam
- Menyetel hiperparameter untuk konvergensi yang stabil
- Menerapkan strategi pemotongan gradien