Dropout

term_id: dropout

Category: basic_concepts

Definition

I neurala nätverk förhindrar dropout överanpassning genom att tillfälligt ta bort en slumpmässig delmängd av neuroner vid varje träningssteg. Detta tvingar nätverket att lära sig robusta funktioner som är användbara i samman

Summary

Dropout är en regulariseringsteknik som slumpmässigt ignorerar neuroner under träning för att förhindra överanpassning.

Key Concepts

  • Regularisering
  • Förebyggande av överanpassning
  • Neurala nätverk
  • Slumpmässig undertryckning

Use Cases

  • Träning av djupa feedforward-neurala nätverk
  • Förbättring av generalisering i stora språkmodeller
  • Minskning av beräkningsberoende på specifika neuronvägar

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related