差分プライベート確率的勾配降下法
term_id: differentially_private_stochastic_gradient_descent
Category: training_techniques
Definition
DP-SGDは、トレーニングデータのプライバシーを保護するために設計された確率的勾配降下法（SGD）のバリアントです。各サンプルの勾配寄与をクリップして感度を制限し、その後ガウスノイズなどを加えることで動作します。
Summary
標準的なSGDを修正し、勾配のクリッピングとノイズの付加を行うことで、学習済みモデルが差分プライバシーの制約を満たすようにする最適化アルゴリズム。
Key Concepts
- 勾配クリッピング
- ガウスノイズの注入
- サンプルのサブサンプリング
- プライバシー会計
Use Cases
- プライベートなユーザーデータを用いたディープニューラルネットワークの学習
- 医療分野の予測モデリング
- 規制対象データを用いた金融不正検知