Rozbieżność
term_id: divergence
Category: basic_concepts
Definition
W kontekście optymalizacji rozbieżność występuje, gdy parametry modelu aktualizują się w sposób powodujący wzrost, a nie spadek wartości straty, często prowadząc do wartości NaN (Not a Number) lub nieskończonych gradientów.
Summary
Rozbieżność odnosi się do niepowodzenia funkcji straty algorytmu uczenia maszynowego w maleciu podczas treningu, co prowadzi do niestabilnej lub pogarszającej się wydajności.
Key Concepts
- Eksplozja straty
- Czułość na współczynnik nauki
- Niestabilność gradientu
- Precyzja numeryczna
Use Cases
- Debugowanie pętli treningowych w frameworkach uczenia głębokiego
- Dopasowywanie hiperparametrów w celu zapewnienia stabilnej zbieżności
- Wdrażanie strategii przycinania gradientu (gradient clipping)