Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) er en populær førsteordens gradientbaseret optimeringsalgoritme, der bruges til træning af dybe neurale netværk. Den kombinerer fordelene ved to andre udvidelser af stokastisk gradientnedstigning.

Summary

En optimeringsalgoritme, der beregner adaptive læringshastigheder for hver parameter.

Key Concepts

  • Gradient Nedstigning
  • Læringshastighed
  • Momentum
  • Varians Estimering

Use Cases

  • Deep Learning Træning
  • Computersynsmodeller
  • Naturlig Sprogbehandling

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related