Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) es un algoritmo de optimización basado en gradientes de primer orden muy popular utilizado en el entrenamiento de redes neuronales profundas. Combina las ventajas de dos extensiones más de la estocástica

Summary

Un algoritmo de optimización que calcula tasas de aprendizaje adaptativas para cada parámetro.

Key Concepts

  • Descenso de Gradiente
  • Tasa de Aprendizaje
  • Momento
  • Estimación de Varianza

Use Cases

  • Entrenamiento de Deep Learning
  • Modelos de Visión por Computadora
  • Procesamiento de Lenguaje Natural

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related