Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) est un algorithme d’optimisation basé sur le gradient de premier ordre populaire utilisé pour l’entraînement des réseaux neuronaux profonds. Il combine les avantages de deux autres extensions du stochastique

Summary

Un algorithme d’optimisation qui calcule des taux d’apprentissage adaptatifs pour chaque paramètre.

Key Concepts

  • Descente de gradient
  • Taux d’apprentissage
  • Momentum
  • Estimation de la variance

Use Cases

  • Entraînement en deep learning
  • Modèles de vision par ordinateur
  • Traitement du langage naturel

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related