Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) er en populær førstereords gradientbasert optimaliseringsalgoritme brukt under trening av dype nevrale nettverk. Den kombinerer fordelene med to andre utvidelser av stokastisk gradientnedstigning.

Summary

En optimaliseringsalgoritme som beregner adaptive læringshastigheter for hver parameter.

Key Concepts

  • Gradientnedstigning
  • Læringshastighet
  • Momentum
  • Variansestimat

Use Cases

  • Trening av dyp læring
  • Datasehmodellene
  • Bearbeiding av naturlig språk

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related