Double Descent
term_id: double_descent
Category: basic_concepts
Definition
Double Descent stellt den traditionellen Bias-Varianz-Tradeoff in Frage, indem es zeigt, dass hoch überparametrisierte Modelle trotz Interpolation der Trainingsdaten einen niedrigen Testfehler erreichen können. Anfangs steigt der Fehler…
Summary
Ein Phänomen, bei dem der Testfehler zunächst abnimmt, dann wieder ansteigt und schließlich erneut sinkt, wenn die Modellkomplexität den Interpolationsschwellenwert überschreitet.
Key Concepts
- Interpolationsschwelle
- Überparametrisierung
- Bias-Varianz-Tradeoff
- Testfehler
Use Cases
- Analyse von Skalierungsgesetzen neuronaler Netze
- Verständnis der Verallgemeinerung im Deep Learning
- Modellauswahl in großskaligen KI-Systemen