Dropout

term_id: dropout

Category: basic_concepts

Definition

Neuroverkoissa dropout estää ylikouluttumisen poistamalla tilapäisesti satunnaisen osan neuroneista jokaisessa koulutusvaiheessa. Tämä pakottaa verkon oppimaan vahvoja piirteitä, jotka ovat hyödyllisiä yhteistyössä muiden neuronien kanssa.

Summary

Dropout on säännöllistämistekniikka, joka jättää satunnaisesti neuroneita huomiotta koulutuksen aikana ylikouluttumisen estämiseksi.

Key Concepts

  • Säännöllistäminen
  • Ylikouluttumisen ehkäisy
  • Neuroverkot
  • Satunnainen vaimennus

Use Cases

  • Syvien syöttöverkkojen koulutus
  • Yleistykyvyn parantaminen suurissa kielimalleissa
  • Laskennallisen riippuvuuden vähentäminen tiettyjen neuroniväylien varassa

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related