השערת כרטיס הלoteria
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
השערת כרטיס הלoteria מציעה כי בתוך רשת נוירונים גדולה ואתחול אקראי, קיימת תת-רשת דלילה (ה’כרטיס הזוכה’) שהאתחול שלה מתאים במיוחד לאימון. על ידי ביצוע גיזום (Pruning) של משקלים לא חשובים ובידוד תת-רשת זו, ניתן לאמן אותה ביעילות רבה יותר ולשמור על ביצועים גבוהים, מה שמוביל לדחיסת מודלים יעילה יותר וצריכת משאבים נמוכה יותר.
Summary
התיאוריה כי רשתות נוירונים צפופות מכילות תת-רשתות קטנות יותר שיכולות להגיע לדיוק זהה לרשת המקורית כאשר מאומנות מחדש מהאתחול הראשוני.
Key Concepts
- גיזום משקלים
- רשתות דלילות
- דחיסת מודלים
- רגישות לאתחול
Use Cases
- הטמעת מודלים קלים במכשירי קצה
- הפחתת עלויות חישוביות במהלך האימון
- האצת מהירויות הסקה