더블 디센트(Double Descent)
term_id: double_descent
Category: basic_concepts
Definition
더블 디센트는 전통적인 편향-분산 트레이드오프(bias-variance tradeoff)에 도전하며, 훈련 데이터를 완전히 보간(interpolating)함에도 불구하고 매우 과매개변수화된(overparameterized) 모델이 낮은 테스트 오차를 달성할 수 있음을 보여줍니다. 초기에는 오차가 상승하지만, 모델 복잡도가 특정 임계점을 넘어서면 오차가 다시 감소하는 U자형 곡선과 그 이후의 추가적인 감소를 포함합니다.
Summary
모델 복잡도가 보간 임계값(interpolation threshold)을 넘어 증가함에 따라 테스트 오차가 감소했다가 다시 증가하고, 이후 다시 감소하는 현상.
Key Concepts
- 보간 임계값(Interpolation Threshold)
- 과매개변수화(Overparameterization)
- 편향-분산 트레이드오프(Bias-Variance Tradeoff)
- 테스트 오차(Test Error)
Use Cases
- 신경망 확장 법칙(Scaling Laws) 분석
- 딥러닝 일반화 이해
- 대규모 AI 시스템에서의 모델 선택