Differentially private stochastic gradient descent
term_id: differentially_private_stochastic_gradient_descent
Category: training_techniques
Definition
DP-SGD er en variant af Stochastic Gradient Descent designet til at beskytte træningsdataenes privatliv. Den fungerer ved at klippe bidraget fra hver samples gradient for at begrænse følsomheden og derefter tilføje Gaussisk støj.
Summary
En optimeringsalgoritme, der modificerer standard SGD ved at klippe gradienter og tilføje støj for at sikre, at den trænede model opfylder kravene til differential privacy.
Key Concepts
- Gradient Clipping (Grænseklipning af gradienter)
- Gaussian Noise Injection (Indsprøjtning af Gaussisk støj)
- Sample Subsampling (Stikprøveudtagelse)
- Privacy Accounting (Privatlivsbogholderi)
Use Cases
- Træning af dybe neurale netværk på private brugerdata
- Prediktiv modellering inden for sundhedssektoren
- Detektion af finansiel svindel med regulerede data