Neural scaling law
term_id: neural_scaling_law
Category: basic_concepts
Definition
Neural scaling laws beskriver den forudsigelige potenslovs-sammenhæng mellem en models ydeevne og dens skala, herunder datasætstørrelse, antal parametre og beregningsbudget. Disse love antyder, at…
Summary
Empiriske sammenhænge, der forudsiger forbedringer i modellens ydeevne baseret på øget data, parametre eller beregningskraft.
Key Concepts
- Potenslovs-sammenhæng
- Parameterskalering
- Dataeffektivitet
- Beregningsoptimeret træning
Use Cases
- Ressourceplanlægning for store sprogmodeller (LLM’er)
- Valg af modelarkitektur
- Ydeevneforudsigelse