Dvojitý pokles
term_id: double_descent
Category: basic_concepts
Definition
Dvojitý pokles zpochybňuje tradiční kompromis mezi zkreslením a rozptylem tím, že ukazuje, že vysoce parametrizované modely mohou dosahovat nízké chyby na testovacích datech, i když interpolují trénovací data. Původně chyba roste s komplexitou, ale po překročení prahu interpolace opět klesá.
Summary
Jev, při kterém se chyba na testovacích datech nejprve sníží, poté zvýší a následně opět sníží, jak roste složitost modelu přesahující prahovou hodnotu interpolace.
Key Concepts
- Práh interpolace
- Víceparametrovost
- Kompromis mezi zkreslením a rozptylem
- Chyba na testovacích datech
Use Cases
- Analýza škálovacích zákonů neuronových sítí
- Chápání generalizace v hlubokém učení
- Výběr modelu ve velkých systémech AI