双重下降
term_id: double_descent
Category: basic_concepts
Definition
双重下降挑战了传统的偏差-方差权衡理论，表明高度过参数化的模型即使插值了训练数据，也能实现较低的测试误差。起初，随着模型复杂度的增加，误差会上升，但在越过插值阈值后，误差会再次下降。
Summary
随着模型复杂度超过插值阈值，测试误差先下降、后上升、再次下降的现象。
Key Concepts
- 插值阈值
- 过参数化
- 偏差-方差权衡
- 测试误差
Use Cases
- 分析神经网络缩放定律
- 理解深度学习中的泛化能力
- 大规模AI系统中的模型选择