행렬 정규화
term_id: matrix_regularization
Category: training_techniques
Definition
행렬 정규화는 스칼라 정규화 개념을 행렬로 확장한 것으로, 주로 다중 작업 학습이나 추천 시스템에서 사용됩니다. 이는 가중치 행렬의 노름(norm)에 제약을 가하여 모델의 복잡도를 통제합니다. 예를 들어, Frobenius 노름을 사용한 리지 회귀(Ridge Regression)의 행렬 버전이나, 저랭크(low-rank) 구조를 유도하기 위한 Nuclear norm 최소화가 여기에 포함됩니다. 이를 통해 모델이 훈련 데이터의 노이즈에 지나치게 적합되는 것을 막고 일반화 성능을 향상시킵니다.
Summary
과적합을 방지하고 희소성 등의 구조적 특성을 부과하기 위해 행렬 값 매개변수에 패널티 항을 적용하는 기법입니다.
Key Concepts
- 프로베니우스 노름
- 핵 노름
- 과적합 방지
- 저랭크 근사
Use Cases
- 협업 필터링
- 다중 작업 학습
- 차원 축소