Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) to popularny algorytm optymalizacji oparty na gradientach pierwszego rzędu, używany podczas trenowania głębokich sieci neuronowych. Łączy zalety dwóch innych rozszerzeń stochastycznych

Summary

Algorytm optymalizacji obliczający adaptacyjne współczynniki uczenia dla każdego parametru.

Key Concepts

  • Spadek gradientu
  • Współczynnik uczenia
  • Pęd
  • Estymacja wariancji

Use Cases

  • Trenowanie głębokiego uczenia
  • Modele widzenia komputerowego
  • Przetwarzanie języka naturalnego

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related