Dropout

term_id: dropout

Category: basic_concepts

Definition

În rețelele neuronale, dropout previne suprapotrivirea prin eliminarea temporară a unui subset aleatoriu de neuroni în fiecare pas de antrenament. Acest lucru forțează rețeaua să învețe caracteristici robuste care sunt utile în conjuncție cu alte neuroni.

Summary

Dropout este o tehnică de regularizare care ignoră aleatoriu neuroni în timpul antrenamentului pentru a preveni suprapotrivirea.

Key Concepts

  • Regularizare
  • Prevenirea suprapotrivirii
  • Rețele neuronale
  • Supresie aleatorie

Use Cases

  • Antrenarea rețelelor neuronale feedforward profunde
  • Îmbunătățirea generalizării în modelele mari de limbaj
  • Reducerea dependenței computaționale de anumite căi neuronale

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related