Differenciálisan privát sztochasztikus gradiens leengedés
term_id: differentially_private_stochastic_gradient_descent
Category: training_techniques
Definition
A DP-SGD a Sztochasztikus Gradiens Leengedés (SGD) egy olyan változata, amelyet a betanítási adatok adatvédelmének védelmére terveztek. A módszer úgy működik, hogy levágja minden minta gradiensének hozzájárulását az érzékenység korlátozása érdekében, majd hozzáad egy Gauss-zajt.
Summary
Egy optimalizálási algoritmus, amely a szabványos SGD-t a gradiens vágással és zaj hozzáadásával módosítja, hogy a betanított modell megfeleljen a differenciális adatvédelmi korlátoknak.
Key Concepts
- Gradiens vágás (Gradient clipping)
- Gauss-zaj injektálása
- Mintavétel alulmintázása (Sample subsampling)
- Adatvédelmi könyvelés (Privacy accounting)
Use Cases
- Mély neurális hálózatok betanítása privát felhasználói adatokon
- Egészségügyi prediktív modellezés
- Pénzügyi csalásmegelőzés szabályozott adatokkal