קצב למידה

term_id: learning_rate

Category: training_techniques

Definition

קצב הלמידה קובע כמה משקולות המודל מתעדכנות ביחס לגרדיאנט המחושב בכל איטרציית אימון. קצב גבוה מדי עלול לגרום למודל “להחטיא” את הנקודה האופטימלית (Overshooting), בעוד שקצב נמוך מדי מאריך את זמן האימון.

Summary

פרמטר היפר-פרמטרי השולט בגודל הצעד במהלך אופטימיזציה של המודל כדי למזער את פונקציית האובדן.

Key Concepts

  • ירידת גרדיאנט
  • כוונון היפר-פרמטרים
  • התכנסות
  • אופטימייזר

Use Cases

  • אימון רשתות נוירונים
  • אופטימיזציה של מודלי למידה עמוקה
  • עדכוני מדיניות בלמידה מחזקת

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related