Dropout

term_id: dropout

Category: basic_concepts

Definition

V neuronových sítích dropout zabraňuje přeučení dočasným odstraněním náhodné podmnožiny neuronů během každého kroku tréninku. To nutí síť učit se robustní funkce, které jsou užitečné ve spolupráci s ostatními neurony, nikoliv na základě spoléhání se na specifické cesty.

Summary

Dropout je technika regularizace, která náhodně ignoruje neurony během tréninku, aby zabránila přeučení.

Key Concepts

  • Regularizace
  • Prevence přeučení
  • Neuronové sítě
  • Náhodné potlačení

Use Cases

  • Trénink hlubokých feedforward neuronových sítí
  • Zlepšování zobecnění u velkých jazykových modelů
  • Snížení výpočetní závislosti na specifických neuronových drahách

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related