Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation) הוא אלגוריתם אופטימיזציה פופולרי המבוסס על גרדיאנט מסדר ראשון, המשמש באימון רשתות נוירונים עמוקות. הוא משלב את היתרונות של שני הרחבות אחרות של סטוכסטית

Summary

אלגוריתם אופטימיזציה המחשב קצבי למידה אדפטיביים לכל פרמטר.

Key Concepts

  • ירידה בגרדיאנט
  • קצב למידה
  • תנע (Momentum)
  • הערכת שונות

Use Cases

  • אימון למידה עמוקה
  • מודלים לראייה ממוחשבת
  • עיבוד שפה טבעית

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related