드롭아웃

term_id: dropout

Category: basic_concepts

Definition

신경망에서 드롭아웃은 각 학습 단계마다 무작위로 선택된 뉴런의 하위 집합을 임시로 제거하여 과적합을 방지합니다. 이는 네트워크가 결합된 상황에서 유용한 견고한 특징을 학습하도록 강제합니다.

Summary

과적합을 방지하기 위해 학습 중에 무작위로 일부 뉴런을 무시하는 정규화 기법입니다.

Key Concepts

정규화
과적합 방지
신경망
무작위 억제

Use Cases

심층 순방향 신경망 학습
대형 언어 모델의 일반화 성능 향상
특정 뉴런 경로에 대한 계산 의존성 감소

Code Example

1
2
3
4
5
6
7
import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)