Dropout

term_id: dropout

Category: basic_concepts

Definition

Az ideghálózatokban a dropout megakadályozza a túltanulást azzal, hogy minden tanítási lépés során ideiglenesen eltávolít a neuronek egy véletlenszerű részhalmazát. Ez arra kényszeríti a hálózatot, hogy robusztus jellemzőket tanuljon meg, amelyek együttműködve hasznosak.

Summary

A Dropout egy regularizációs technika, amely a tanítás során véletlenszerűen kikapcsol neuroneket a túltanulás megelőzése érdekében.

Key Concepts

  • Regularizáció
  • Túltanulás megelőzése
  • Ideghálózatok
  • Véletlenszerű elnyomás

Use Cases

  • Mély, előrefelé irányuló (feedforward) ideghálózatok tanítása
  • Általánosítás javítása nagy nyelvi modelleknél
  • Számítási függőség csökkentése specifikus neuronális utak iránt

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related