Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation), derin sinir ağlarının eğitiminde kullanılan popüler birinci mertebeden gradyan tabanlı bir optimizasyon algoritmasıdır. Stokastik optimizasyonun iki diğer uzantısının avantajlarını birleştirir.

Summary

Her parametre için uyarlanabilir öğrenme hızları hesaplayan bir optimizasyon algoritması.

Key Concepts

  • Gradyan İnişi
  • Öğrenme Hızı
  • Momentum
  • Varyans Tahmini

Use Cases

  • Derin Öğrenme Eğitimi
  • Bilgisayarlı Görü Modelleri
  • Doğal Dil İşleme

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related