קליפ / חיתוך
term_id: clip
Category: engineering_practice
Definition
בהנדסת למידה עמוקה, קליפפינג מיושם בדרך כלל על גרדיאנטים כדי להקל על בעיית הגרדיאנטים המתפוצצים, מבטיבים אחזור אחורי יציב. זה יכול גם להתייחס להגבלת לוגיטים (logits) של הפלט לפני
Summary
קליפינג (Clipping) היא טכניקה המשמשת להגבלת עוצמת הערכים, כגון גרדיאנטים או הסתברויות פלט, כדי למנוע אי-יציבות נומרלית במהלך האימון.
Key Concepts
- קליפפינג גרדיאנטים
- יציבות נומרלית
- גרדיאנטים מתפוצצים
- רגולריזציה
Use Cases
- אימון רשתות עצביות רקורסיביות (RNN)
- ייצוב אימון של טרנספורמרים
- מניעת התבדרות פונקציית ההפסד