Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) este un algoritm popular de optimizare de ordinul întâi bazat pe gradient, utilizat în antrenarea rețelelor neuronale profunde. Acesta combină avantajele a două alte extensii ale stocasticității

Summary

Un algoritm de optimizare care calculează rate de învățare adaptative pentru fiecare parametru.

Key Concepts

  • Descendența gradientului
  • Rata de învățare
  • Momentum (Impuls)
  • Estimarea varianței

Use Cases

  • Antrenarea Deep Learning
  • Modele de viziune computerizată
  • Procesarea limbajului natural

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related