Adam

term_id: adam

Category: basic_concepts

Definition

Adam（Adaptive Moment Estimation）は、ディープニューラルネットワークのトレーニングに使用される人気のある一階勾配ベースの最適化アルゴリズムです。これは、確率的勾配降下法のもう2つの拡張機能の利点を組み合わせています。

Summary

各パラメータに対して適応的な学習率を計算する最適化アルゴリズム。

Key Concepts

  • 勾配降下法
  • 学習率
  • モーメンタム
  • 分散推定

Use Cases

  • ディープラーニングのトレーニング
  • コンピュータビジョンモデル
  • 自然言語処理

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related