Divergenz
term_id: divergence
Category: basic_concepts
Definition
Im Kontext der Optimierung tritt Divergenz auf, wenn sich die Parameter eines Modells so aktualisieren, dass der Verlust ansteigt statt abzufallen, was oft zu NaN-Werten (Not a Number) oder unendlichen Gradienten führt.
Summary
Divergenz bezeichnet das Versagen der Verlustfunktion eines maschinellen Lernalgorithmus, während des Trainings abzunehmen, was zu instabiler oder sich verschlechternder Leistung führt.
Key Concepts
- Verlustexplosion
- Empfindlichkeit der Lernrate
- Instabilität der Gradienten
- Numerische Präzision
Use Cases
- Fehlersuche in Trainingsloops von Deep-Learning-Frameworks
- Abstimmung von Hyperparametern für stabile Konvergenz
- Implementierung von Strategien zum Beschneiden von Gradienten