Podwójny spadek
term_id: double_descent
Category: basic_concepts
Definition
Podwójny spadek kwestionuje tradycyjny kompromis między obciążeniem a wariancją, pokazując, że silnie przeparametryzowane modele mogą osiągać niski błąd testowy mimo interpolacji danych treningowych. Początkowo błąd rośnie wraz ze wzrostem złożoności, ale po przekroczeniu progu interpolacji zaczyna spadać.
Summary
Zjawisko, w którym błąd testowy maleje, rośnie, a następnie ponownie maleje, gdy złożoność modelu przekracza próg interpolacyjny.
Key Concepts
- Próg interpolacyjny
- Prze-parametryzacja
- Kompromis między obciążeniem a wariancją
- Błąd testowy
Use Cases
- Analiza praw skalowania sieci neuronowych
- Zrozumienie uogólniania w uczeniu głębokim
- Wybór modelu w dużych systemach sztucznej inteligencji