Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) è un popolare algoritmo di ottimizzazione del primo ordine basato sui gradienti, utilizzato nell’addestramento di reti neurali profonde. Combina i vantaggi di due altre estensioni dello stocastico

Summary

Un algoritmo di ottimizzazione che calcola tassi di apprendimento adattivi per ciascun parametro.

Key Concepts

  • Discesa del Gradiente
  • Tasso di Apprendimento
  • Momento
  • Stima della Varianza

Use Cases

  • Addestramento Deep Learning
  • Modelli di Computer Vision
  • Elaborazione del Linguaggio Naturale

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related