Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) — популярный алгоритм оптимизации первого порядка на основе градиента, используемый при обучении глубоких нейронных сетей. Он объединяет преимущества двух других расширений стохастического

Summary

Алгоритм оптимизации, вычисляющий адаптивные скорости обучения для каждого параметра.

Key Concepts

  • Градиентный спуск
  • Скорость обучения
  • Импульс
  • Оценка дисперсии

Use Cases

  • Обучение глубокого обучения
  • Модели компьютерного зрения
  • Обработка естественного языка

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related