Dropout

term_id: dropout

Category: basic_concepts

Definition

I nevrale nettverk forhindrer dropout overtilpasning ved midlertidig å fjerne et tilfeldig utvalg av nerver i hvert treningssteg. Dette tvinger nettverket til å lære robuste funksjoner som er nyttige i samspill.

Summary

Dropout er en regulariseringsteknikk som tilfeldig ignorerer nerver under treningen for å forhindre overtilpasning.

Key Concepts

  • Regularisering
  • Forebygging av overtilpasning
  • Nevrale nettverk
  • Tilfeldig undertrykkelse

Use Cases

  • Trening av dype feedforward-nevrale nettverk
  • Forbedring av generalisering i store språkmodeller
  • Reduksjon av beregningsmessig avhengighet av spesifikke nervebaner

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related