Regularization

Terms tagged with Regularization

Definition

구조적 위험 최소화(SRM)는 과적합을 방지하기 위해 모델의 복잡도를 제어함으로써 기대 위험을 최소화하는 방법론입니다. 이는 경험적 위험 최소화(ERM)에 정규 …

구조적 희소성 정규화는 표준 L1 정규화를 확장하여 개별 계수를 독립적으로 제로(0)로 만드는 것이 아니라, 특정 패턴(예: 그룹 단위)으로 제로를 유도합니다. …

행렬 정규화는 스칼라 정규화 개념을 행렬로 확장한 것으로, 주로 다중 작업 학습이나 추천 시스템에서 사용됩니다. 이는 가중치 행렬의 노름(norm)에 제약을 가 …

매니폴드 정규화는 데이터 분포의 내재적 기하학을 통합함으로써 전통적인 정규화 방법을 확장합니다. 이는 고차원 데이터 포인트들이 낮은 차원의 매니폴드 위에 놓여 …

조기 종료(Early Stopping)는 경사 하강법(gradient descent)과 같은 반복적 훈련 과정에서 주로 사용되는 정규화 방법입니다. 훈련 중 모 …

신경망에서 드롭아웃은 각 학습 단계마다 무작위로 선택된 뉴런의 하위 집합을 임시로 제거하여 과적합을 방지합니다. 이는 네트워크가 결합된 상황에서 유용한 견고한 …