Proximální gradientní metody pro učení
term_id: proximal_gradient_methods_for_learning
Category: training_techniques
Definition
Proximální gradientní metody jsou iterativní optimalizační techniky používané, když ztrátová funkce obsahuje diferencovatelnou hladkou složku a nediferencovatelný regularizátor, jako je norma L1. Algoritmus kombinuje krok gradientního sestupu s proximálním operátorem pro řešení nehladkých členů.
Summary
Optimalizační algoritmy navržené k minimalizaci složených cílových funkcí obsahujících jak hladké, tak i nehladké složky.
Key Concepts
- složená optimalizace
- proximální operátor
- regularizace L1
- nehladková konvexit
Use Cases
- Výběr vzorků s nízkou dimenzí (sparse feature selection)
- Regrese Lasso
- Modely strukturované predikce