Zákon škálování neuronových sítí
term_id: neural_scaling_law
Category: basic_concepts
Definition
Zákony škálování neuronových sítí popisují předvídatelný vztah mocninného zákona mezi výkonem modelu a jeho škálou, včetně velikosti datové sady, počtu parametrů a výpočetního rozpočtu. Tyto zákony naznačují, že…
Summary
Empirické vztahy předpovídající zlepšení výkonu modelu na základě zvýšení objemu dat, počtu parametrů nebo výpočetního výkonu.
Key Concepts
- Vztah mocninného zákona
- Škálování parametrů
- Účinnost dat
- Optimalizace tréninku z hlediska výpočetního výkonu
Use Cases
- Plánování zdrojů pro velké jazykové modely
- Výběr architektury modelu
- Předpovídání výkonu