Méthodes de gradient proximal pour l'apprentissage
term_id: proximal_gradient_methods_for_learning
Category: training_techniques
Definition
Les méthodes de gradient proximal sont des techniques d’optimisation itératives utilisées lorsque la fonction de perte comprend un terme différentiable lisse et un régularisateur non différentiable, tel que la norme L1. L’algorithme combine les étapes de gradient avec des opérateurs proximaux.
Summary
Algorithmes d’optimisation conçus pour minimiser des fonctions objectif composites contenant à la fois des composantes lisses et non lisses.
Key Concepts
- optimisation composite
- opérateur proximal
- régularisation L1
- convexité non lisse
Use Cases
- Sélection de caractéristiques creuses (sparse feature selection)
- Régression Lasso
- Modèles de prédiction structurée
Related Terms
- descente de gradient (méthode d’optimisation itérative pour trouver le minimum d’une fonction)
- Lasso (méthode d’estimation des coefficients dans un modèle de régression linéaire)
- optimisation convexe (sous-domaine de l’optimisation mathématique)
- régularisation (procédé visant à réduire le surajustement en ajoutant une information supplémentaire)