Dropout

term_id: dropout

Category: basic_concepts

Definition

I neurale netværk forhindrer dropout overtilpasning ved midlertidigt at fjerne et tilfældigt udvalgt subset af neuroner under hvert træningstrin. Dette tvinger netværket til at lære robuste funktioner, der er nyttige i kombination med mange andre tilfældige subsæt af neuroner.

Summary

Dropout er en regulariseringsteknik, der tilfældigt ignorerer neuroner under træningen for at forhindre overtilpasning.

Key Concepts

  • Regularisering
  • Forebyggelse af overtilpasning
  • Neurale netværk
  • Tilfældig undertrykkelse

Use Cases

  • Træning af dybe feedforward-neurale netværk
  • Forbedring af generalisering i store sprogmodeller
  • Reducering af beregningsmæssig afhængighed af specifikke neuroneveje

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related