Skalningslag för neurala nätverk
term_id: neural_scaling_law
Category: basic_concepts
Definition
Skalningslagar för neurala nätverk beskriver det förutsägbara potenslagssambandet mellan en modells prestanda och dess skala, inklusive datamängdens storlek, antal parametrar och beräkningsbudget. Dessa lagar antyder att…
Summary
Empiriska samband som förutspår förbättringar i modellprestanda baserat på ökningar i data, parametrar eller beräkningsresurser.
Key Concepts
- Potenslagssamband
- Parameterskalning
- Dataeffektivitet
- Beräkningsoptimerad träning
Use Cases
- Resursplanering för stora språkmodeller
- Val av modellarkitektur
- Prestandaprognos