Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) is een populair optimalisatie-algoritme op basis van eerste-orde gradiënten, gebruikt bij het trainen van diepe neurale netwerken. Het combineert de voordelen van twee andere uitbreidingen van stochastisch

Summary

Een optimalisatie-algoritme dat adaptieve leersnelheden voor elke parameter berekent.

Key Concepts

  • Gradiëntdaaldaling
  • Leersnelheid
  • Momentum
  • Variantie-estimering

Use Cases

  • Diep Leren Training
  • Computer Vision-modellen
  • Natuurlijke Taalverwerking

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related