Adam

term_id: adam

Category: basic_concepts

Definition

Az Adam (Adaptive Moment Estimation) egy népszerű, elsőrendű gradiens alapú optimalizációs algoritmus, amelyet mély neurális hálózatok tanításakor használnak. Kombinálja két más sztochasztikus kiterjesztés előnyeit.

Summary

Egy optimalizációs algoritmus, amely minden paraméterhez adaptív tanulási rátát számít.

Key Concepts

  • Gradiens lefutás
  • Tanulási ráta
  • Impulzus
  • Variancia becslés

Use Cases

  • Mélytanítási képzés
  • Számítógépes látási modellek
  • Természetes nyelvfeldolgozás

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related