Opad gradientowy
term_id: gradient_descent
Category: basic_concepts
Definition
Opad gradientowy to iteracyjny algorytm optymalizacji pierwszego rzędu służący do znalezienia lokalnego minimum funkcji różniczkowalnej. W uczeniu maszynowym aktualizuje wagi modelu w kierunku przeciwnym do gradientu funkcji straty.
Summary
Iteracyjny algorytm optymalizacji służący do minimalizacji funkcji straty poprzez dostosowanie parametrów modelu.
Key Concepts
- Funkcja straty
- Tempo nauki
- Optymalizacja
- Propagacja zwrotna
Use Cases
- Trening głębokich sieci neuronowych
- Dopasowywanie parametrów regresji liniowej
- Optymalizacja modeli rozpoznawania obrazów