Dropout

term_id: dropout

Category: basic_concepts

Definition

Sinir ağlarında dropout, her eğitim adımında nöronların rastgele bir alt kümesini geçici olarak kaldırarak aşırı öğrenmeyi engeller. Bu, ağın bileşenlerin uyum içinde çalıştığı güçlü özellikler öğrenmeye zorlar.

Summary

Dropout, aşırı öğrenmeyi (overfitting) önlemek için eğitim sırasında nöronları rastgele yok sayan bir düzenlileştirme tekniğidir.

Key Concepts

  • Düzenlileştirme
  • Aşırı Öğrenme Önleme
  • Sinir Ağları
  • Rastgele Bastırma

Use Cases

  • Derin beslemeli sinir ağlarının eğitimi
  • Büyük dil modellerinde genelleştirmenin iyileştirilmesi
  • Belirli nöron yollarına karşı bilişsel bağımlılığı azaltma

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related