Adam

term_id: adam

Category: basic_concepts

Definition

Adam（自适应矩估计）是一种流行的基于一阶梯度的优化算法，用于训练深度神经网络。它结合了两种其他随机梯度下降扩展的优势。

Summary

一种为每个参数计算自适应学习率的优化算法。

Key Concepts

  • 梯度下降
  • 学习率
  • 动量
  • 方差估计

Use Cases

  • 深度学习训练
  • 计算机视觉模型
  • 自然语言处理

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related