Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) ist ein beliebter Optimierungsalgorithmus erster Ordnung auf Basis von Gradienten, der beim Training tiefer neuronaler Netze verwendet wird. Er kombiniert die Vorteile zweier anderer Erweiterungen des stochastischen Gradientenabstiegs.

Summary

Ein Optimierungsalgorithmus, der adaptive Lernraten für jeden Parameter berechnet.

Key Concepts

  • Gradientenabstieg
  • Lernrate
  • Impuls (Momentum)
  • Varianzschatzung

Use Cases

  • Training tiefer neuronaler Netze
  • Computer-Vision-Modelle
  • Natürliche Sprachverarbeitung

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related