חוק הסקלה העצבי
term_id: neural_scaling_law
Category: basic_concepts
Definition
חוקי סקלה עצביים מתארים את הקשר הצפוי מסוג חוק חזקה בין הביצועים של מודל לבין היקפו, כולל גודל מערך הנתונים, מספר הפרמטרים ותקציב החישוב. חוקים אלו מציעים כי ניתן לחזות את הביצועים על סמך גורמים אלו.
Summary
קשרים אמפיריים החוזים שיפורים בביצועי המודל בהתבסס על עלייה בנתונים, פרמטרים או כוח חישוב.
Key Concepts
- קשר חוק חזקה
- סקלת פרמטרים
- יעילות נתונים
- אימון אופטימלי מבחינת חישוב
Use Cases
- תכנון משאבים עבור מודלי שפה גדולים (LLMs)
- בחירת ארכיטקטורת מודל
- תחזית ביצועים