Neurale schalingswet
term_id: neural_scaling_law
Category: basic_concepts
Definition
Neurale schalingswetten beschrijven de voorspelbare machtsrelatie tussen de prestaties van een model en zijn schaal, inclusief de grootte van de dataset, het aantal parameters en de rekenbudgetten. Deze wetten suggereren dat…
Summary
Empirische relaties die prestatieverbeteringen van modellen voorspellen op basis van toenames in gegevens, parameters of rekenkracht.
Key Concepts
- Machtsrelatie
- Schaalbaarheid van parameters
- Gegevensefficiëntie
- Rekenoptimaal trainen
Use Cases
- Ressourcenplanning voor grote taalmodellen (LLMs)
- Selectie van modelarchitecturen
- Prestatievoorspelling