Dropout

term_id: dropout

Category: basic_concepts

Definition

Em redes neurais, o dropout previne o sobreajuste removendo temporariamente um subconjunto aleatório de neurônios durante cada etapa de treinamento. Isso força a rede a aprender características robustas que são úteis em conjunto com outros neurônios.

Summary

O Dropout é uma técnica de regularização que ignora aleatoriamente neurônios durante o treinamento para evitar o sobreajuste.

Key Concepts

  • Regularização
  • Prevenção de Sobreajuste
  • Redes Neurais
  • Supressão Aleatória

Use Cases

  • Treinamento de redes neurais feedforward profundas
  • Melhoria da generalização em grandes modelos de linguagem
  • Redução da dependência computacional em caminhos específicos de neurônios

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related