Dropout

term_id: dropout

Category: basic_concepts

Definition

In neuronalen Netzen verhindert Dropout Überanpassung, indem während jedes Trainingsschritts eine zufällige Teilmenge von Neuronen vorübergehend entfernt wird. Dies zwingt das Netzwerk dazu, robuste Merkmale zu lernen, die im Zusammenwirken nützlich sind

Summary

Dropout ist eine Regularisierungstechnik, die zufällig Neuronen während des Trainings ignoriert, um Überanpassung zu verhindern.

Key Concepts

  • Regularisierung
  • Verhinderung von Überanpassung
  • Neuronale Netze
  • Zufällige Unterdrückung

Use Cases

  • Training tiefer Feedforward-neuronaler Netze
  • Verbesserung der Generalisierung bei großen Sprachmodellen
  • Reduzierung der rechnerischen Abhängigkeit von spezifischen Neuronenpfaden

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related