Neurális skálázási törvény
term_id: neural_scaling_law
Category: basic_concepts
Definition
A neurális skálázási törvények leírják a modellteljesítmény és a méretezés (adatbázis mérete, paraméterek száma, számítási költségvetés) közötti kiszámítható hatványfüggvény szerinti kapcsolatot. Ezek a törvények azt sugallják, hogy a teljesítmény skálázható.
Summary
Empirikus összefüggések, amelyek megjósolják a modellteljesítmény javulását az adatok, paraméterek vagy számítási erőforrások növelésével.
Key Concepts
- Hatványfüggvény szerinti kapcsolat
- Paraméter-skálázás
- Adat-hatékonyság
- Számítási szempontból optimális tanítás
Use Cases
- Forrástervezés nagy nyelvi modellek (LLM) esetén
- Modellarchitektúra-választás
- Teljesítmény-előrejelzés