Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) je populární optimalizační algoritmus prvního řádu založený na gradientu, používaný při trénování hlubokých neuronových sítí. Kombinuje výhody dvou dalších rozšíření stochastického

Summary

Optimalizační algoritmus, který vypočítává adaptivní rychlosti učení pro každý parametr.

Key Concepts

  • Gradientní sestup
  • Rychlost učení
  • Impulz (Momentum)
  • Odhvar rozptylu

Use Cases

  • Trénování hlubokého učení
  • Modely počítačového vidění
  • Zpracování přirozeného jazyka

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related