Divergență
term_id: divergence
Category: basic_concepts
Definition
În contextul optimizării, divergența apare atunci când parametrii unui model se actualizează într-un mod care determină creșterea pierderii în loc de scăderea acesteia, ducând adesea la valori NaN sau la gradienți infiniti.
Summary
Divergența se referă la eșecul funcției de pierdere a unui algoritm de învățare automată de a scădea în timpul antrenamentului, rezultând într-o performanță instabilă sau înrăutățită.
Key Concepts
- Explozia pierderii
- Sensibilitatea ratei de învățare
- Instabilitatea gradientului
- Precizia numerică
Use Cases
- Depanarea buclelor de antrenament în framework-uri de învățare profundă
- Reglarea hiperparametrilor pentru o convergență stabilă
- Implementarea strategiilor de clipare a gradientului