דיסטילציה
term_id: distillation
Category: training_techniques
Definition
תהליך זה כולל העברת ידע מרשת נוירונים מורכבת ובעלת ביצועים גבוהים (‘מורה’) לרשת פשוטה ויעילה יותר (‘סטודנט’). הסטודנט לומד לא רק מתוויות קשות אלא גם מההסתברויות הרכות המופקות על ידי המורה.
Summary
דיסטילציה של ידע היא טכניקה לדחיסת מודל שבה מודל סטודנט קטן לומד לחקות את התנהגותו של מודל מורה גדול יותר.
Key Concepts
- ארכיטקטורת מורה-סטודנט
- מטרות רכות (Soft Targets)
- דחיסת מודל
- יעילות מסקנות (Inference)
Use Cases
- הטמעת מודלי שפה גדולים במכשירים ניידים
- הפחתת זמן השהייה (Latency) ביישומי ראייה ממוחשבת בזמן אמת
- אופטימיזציה של מודלי למידה עמוקה לסביבות חישוב בקצה (Edge Computing)