Dropout

Definition

W sieciach neuronowych dropout zapobiega przeuczeniu poprzez tymczasowe usuwanie losowego podzbioru neuronów podczas każdego kroku treningu. Zmusza to sieć do nauki odpornych cech, które są przydatne we współpracy z innymi neuronami, a nie polegania na pojedynczych ścieżkach.

Summary

Dropout to technika regularizacji, która losowo ignoruje neurony podczas treningu, aby zapobiec przeuczeniu.

Key Concepts

• Regularizacja
• Zapobieganie przeuczeniu
• Sieci neuronowe
• Losowa suppressja

Use Cases

• Trening głębokich sieci neuronowych typu feedforward
• Poprawa uogólniania w dużych modelach językowych
• Redukcja zależności obliczeniowej od specyficznych ścieżek neuronów

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related Terms

• L2 Regularization (regularizacja L2, metoda zapobiegająca przeuczeniu poprzez karanie dużych wag)
• Batch Normalization (normalizacja wsadowa, technika stabilizująca i przyspieszająca trening sieci neuronowych)
• Overfitting (przeuczenie, stan, w którym model zbyt dobrze dopasowuje się do danych treningowych, tracąc zdolność uogólniania)
• Generalization (uogólnianie, zdolność modelu do poprawnego działania na danych niewidzianych podczas treningu)