Проксимальные градиентные методы для обучения
term_id: proximal_gradient_methods_for_learning
Category: training_techniques
Definition
Проксимальные градиентные методы — это итеративные техники оптимизации, используемые, когда функция потерь включает дифференцируемую гладкую часть и недифференцируемый регуляризатор, такой как L1-норма. Алгоритм комбинирует шаг градиентного спуска для гладкой части с проксимальным оператором для негладкой части.
Summary
Алгоритмы оптимизации, предназначенные для минимизации составных целевых функций, содержащих как гладкие, так и негладкие компоненты.
Key Concepts
- составная оптимизация
- проксимальный оператор
- L1-регуляризация
- негладкая выпуклость
Use Cases
- Отбор разреженных признаков
- Лассо-регрессия
- Модели структурированного прогнозирования