Dropout

term_id: dropout

Category: basic_concepts

Definition

Dans les réseaux de neurones, le dropout prévient le surapprentissage en supprimant temporairement un sous-ensemble aléatoire de neurones à chaque étape d’entraînement. Cela force le réseau à apprendre des caractéristiques robustes utiles en conjonction.

Summary

Le Dropout est une technique de régularisation qui ignore aléatoirement des neurones pendant l’entraînement pour prévenir le surapprentissage.

Key Concepts

  • Régularisation
  • Prévention du Surapprentissage
  • Réseaux de Neurones
  • Suppression Aléatoire

Use Cases

  • Entraînement de réseaux de neurones profonds à propagation avant
  • Amélioration de la généralisation dans les grands modèles de langage
  • Réduction de la dépendance computationnelle aux chemins spécifiques de neurones

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related