차등 프라이버시 확률적 경사 하강법

term_id: differentially_private_stochastic_gradient_descent

Category: training_techniques

Definition

DP-SGD는 훈련 데이터의 프라이버시를 보호하도록 설계된 확률적 경사 하강법(SGD)의 변형입니다. 각 샘플의 경사 기여도를 제한하여 민감도를 줄인 후 가우시안(Gaussian) 노이즈를 추가하여 작동합니다.

Summary

표준 SGD에 경사 절편 적용 및 노이즈 추가를 수정하여 학습된 모델이 차등 프라이버시 제약 조건을 만족하도록 하는 최적화 알고리즘입니다.

Key Concepts

경사 절편(Gradient Clipping)
가우시안 노이즈 주입
샘플 부분 추출(Sample Subsampling)
프라이버시 회계(Privacy Accounting)

Use Cases

개인 사용자 데이터 기반 심층 신경망 학습
의료 예측 모델링
규제 대상 데이터를 활용한 금융 사기 탐지