Legea scalării neuronale
term_id: neural_scaling_law
Category: basic_concepts
Definition
Legile scalării neuronale descriu relația predictibilă de tip lege de putere între performanța unui model și scala acestuia, inclusiv mărimea setului de date, numărul de parametri și bugetul de calcul. Aceste legi sugerează că…
Summary
Relații empirice care prezic îmbunătățirea performanței modelului bazate pe creșterea datelor, a parametrilor sau a puterii de calcul.
Key Concepts
- Relație de tip lege de putere
- Scalarea parametrilor
- Eficiența datelor
- Antrenament optim din punct de vedere al calculului
Use Cases
- Planificarea resurselor pentru modelele lingvistice mari (LLM)
- Selecția arhitecturii modelului
- Forecasting-ul performanței (previziunea performanței)