Adam

Definition

Adam(적응 모멘트 추정)은 심층 신경망 훈련에 널리 사용되는 1계 경사 기반 최적화 알고리즘입니다. 이는 확률적 경사 하강법의 두 가지 확장 버전인 모멘텀(Momentum)과 RMSProp의 장점을 결합합니다.

Summary

각 매개변수에 대해 적응형 학습률을 계산하는 최적화 알고리즘.

Key Concepts

• 경사 하강법 (Gradient Descent)
• 학습률 (Learning Rate)
• 모멘텀 (Momentum)
• 분산 추정 (Variance Estimation)

Use Cases

• 딥러닝 훈련 (Deep Learning Training)
• 컴퓨터 비전 모델 (Computer Vision Models)
• 자연어 처리 (Natural Language Processing)

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related Terms

• SGD (확률적 경사 하강법)
• RMSProp (RMSProp 알고리즘)
• Optimizer (최적화 함수)
• Backpropagation (역전파)