סטייה (Divergence)
term_id: divergence
Category: basic_concepts
Definition
בהקשר של אופטימיזציה, סטייה מתרחשת כאשר פרמטרי המודל מתעדכנים בצורה הגורמת לעלייה באובדן במקום ירידה, לעיתים קרובות תוך יצירת ערכי NaN או גרדיאנטים אינסופיים.
Summary
סטייה מתייחסת לכישלון של אלגוריתם למידת מכונה להפחית את פונקציית האובדן שלו במהלך האימון, מה שמוביל לביצועים לא יציבים או מחמירים.
Key Concepts
- פיצוץ אובדן (Loss Explosion)
- רגישות לקצב הלמידה
- אי-יציבות בגרדיאנט
- דיוק נומרי
Use Cases
- ניפוי באגים בלופי אימון במסגרות למידה עמוקה
- כוונון היפר-פרמטרים להתכנסות יציבה
- יישום אסטרטגיות חיתוך גרדיאנט (Gradient Clipping)