Double descente
term_id: double_descent
Category: basic_concepts
Definition
La double remise en cause le compromis traditionnel biais-variance en montrant que les modèles fortement surparamétrés peuvent atteindre une faible erreur de test malgré l’interpolation des données d’entraînement. Initialement, l’erreur augmente avec la complexité avant de diminuer à nouveau.
Summary
Un phénomène où l’erreur de test diminue, augmente, puis diminue à nouveau à mesure que la complexité du modèle dépasse le seuil d’interpolation.
Key Concepts
- Seuil d’interpolation
- Surparamétrisation
- Compromis biais-variance
- Erreur de test
Use Cases
- Analyse des lois d’échelle des réseaux neuronaux
- Compréhension de la généralisation en apprentissage profond
- Sélection de modèles dans les systèmes d’IA à grande échelle