Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) é um algoritmo de otimização baseado em gradiente de primeira ordem popular, usado no treinamento de redes neurais profundas. Ele combina as vantagens de duas outras extensões do gradiente estocástico.

Summary

Um algoritmo de otimização que calcula taxas de aprendizado adaptativas para cada parâmetro.

Key Concepts

  • Descida de Gradiente
  • Taxa de Aprendizado
  • Momento
  • Estimativa de Variância

Use Cases

  • Treinamento de Deep Learning
  • Modelos de Visão Computacional
  • Processamento de Linguagem Natural

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related