Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) är en populär förstordningens gradientbaserad optimeringsalgoritm som används vid träning av djupa neurale nätverk. Den kombinerar fördelarna från två andra utökningar av stokastisk

Summary

En optimeringsalgoritm som beräknar adaptiva inlärningshastigheter för varje parameter.

Key Concepts

  • Gradientnedstigning
  • Inlärningshastighet
  • Momentum
  • Variansuppskattning

Use Cases

  • Träning av djupinlärning
  • Datorseendemodeller
  • Bearbetning av naturligt språk

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related