Dubla scădere
term_id: double_descent
Category: basic_concepts
Definition
Dubla scădere contestă compromisul tradițional bias-varianță, demonstrând că modelele foarte supra-parametrizate pot atinge o eroare mică de testare, chiar dacă interpolează datele de antrenament. Inițial, eroarea crește pe măsură ce modelul devine mai complex, dar după un punct critic, aceasta scade din nou pe măsură ce capacitatea modelului de a generaliza se îmbunătățește.
Summary
Un fenomen în care eroarea de testare scade, crește și apoi scade din nou pe măsură ce complexitatea modelului depășește pragul de interpolare.
Key Concepts
- Pragul de interpolare
- Supra-parametrizare
- Compromis bias-varianță
- Eroarea de testare
Use Cases
- Analiza legilor de scalare ale rețelelor neuronale
- Înțelegerea generalizării în învățarea profundă
- Selecția modelelor în sistemele AI la scară largă