Dropout

term_id: dropout

Category: basic_concepts

Definition

Nelle reti neurali, il dropout previene l’overfitting rimuovendo temporaneamente un sottoinsieme casuale di neuroni durante ogni passo di addestramento. Questo costringe la rete ad apprendere caratteristiche robuste utili in congiunzione

Summary

Il Dropout è una tecnica di regolarizzazione che ignora casualmente alcuni neuroni durante l’addestramento per prevenire l’overfitting.

Key Concepts

  • Regolarizzazione
  • Prevenzione dell’Overfitting
  • Reti Neurali
  • Soppressione Casuale

Use Cases

  • Addestramento di reti neurali feedforward profonde
  • Miglioramento della generalizzazione nei grandi modelli linguistici
  • Riduzione della dipendenza computazionale da specifici percorsi neuronali

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related