Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) on suosittu ensimmäisen kertaluvun gradienttipohjainen optimointialgoritmi, jota käytetään syvien neuroverkkojen koulutuksessa. Se yhdistää kaksi muuta stokastisen gradienttipudotuksen laajennusta.

Summary

Optimointialgoritmi, joka laskee jokaiselle parametrille mukautuvan oppimisnopeuden.

Key Concepts

  • Gradienttipudotus
  • Oppimisnopeus
  • Momentti
  • Varianssin estimointi

Use Cases

  • Syväoppimisen koulutus
  • Tietokonenäkomallit
  • Luonnollisen kielen käsittely

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related