Loi d'échelle neuronale
term_id: neural_scaling_law
Category: basic_concepts
Definition
Les lois d’échelle neuronale décrivent la relation prévisible en loi de puissance entre les performances d’un modèle et son échelle, y compris la taille du jeu de données, le nombre de paramètres et le budget informatique. Ces lois suggèrent que…
Summary
Relations empiriques prédisant les améliorations des performances du modèle basées sur l’augmentation des données, des paramètres ou de la puissance de calcul.
Key Concepts
- Relation en loi de puissance
- Mise à l’échelle des paramètres
- Efficacité des données
- Entraînement optimal en calcul
Use Cases
- Planification des ressources pour les LLM
- Sélection d’architecture de modèle
- Prévision des performances