用于学习的近端梯度方法
term_id: proximal_gradient_methods_for_learning
Category: training_techniques
Definition
近端梯度方法是一种迭代优化技术，当损失函数包含可微分的平滑项和不可微分的正则项（如L1范数）时使用。该算法通过将平滑部分的梯度下降步骤与非平滑部分的近端算子（proximal operator）相结合，有效地处理非光滑优化问题。
Summary
旨在最小化包含平滑和非平滑分量的复合目标函数的优化算法。
Key Concepts
- 复合优化
- 近端算子
- L1正则化
- 非光滑凸性
Use Cases
- 稀疏特征选择
- Lasso回归
- 结构化预测模型