Dropout

term_id: dropout

Category: basic_concepts

Definition

Dalam jaringan saraf, dropout mencegah overfitting dengan sementara menghapus subset acak neuron pada setiap langkah pelatihan. Hal ini memaksa jaringan untuk mempelajari fitur yang kuat yang berguna dalam kombinasi dengan neuron lain.

Summary

Dropout adalah teknik regularisasi yang secara acak mengabaikan neuron selama pelatihan untuk mencegah overfitting.

Key Concepts

  • Regularisasi
  • Pencegahan Overfitting
  • Jaringan Saraf
  • Penekanan Acak

Use Cases

  • Melatih jaringan saraf feedforward yang dalam
  • Meningkatkan generalisasi pada model bahasa besar
  • Mengurangi ketergantungan komputasi pada jalur neuron tertentu

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related