Differenziell privater stochastischer Gradientenabstieg
term_id: differentially_private_stochastic_gradient_descent
Category: training_techniques
Definition
DP-SGD ist eine Variante des Stochastic Gradient Descent, die entwickelt wurde, um die Privatsphäre der Trainingsdaten zu schützen. Es funktioniert, indem es den Beitrag des Gradienten jeder Probe begrenzt, um die Empfindlichkeit zu beschränken, und dann Gaußsches Rauschen hinzufügt.
Summary
Ein Optimierungsalgorithmus, der den Standard-SGD modifiziert, indem Gradienten beschnitten und Rauschen hinzugefügt wird, um sicherzustellen, dass das trainierte Modell die Einschränkungen der differenziellen Privatsphäre erfüllt.
Key Concepts
- Gradientenbeschränkung
- Gaußsche Rauscheinjektion
- Stichprobenunterabtastung
- Privatsphärenbuchhaltung
Use Cases
- Schulung tiefer neuronaler Netze mit privaten Nutzerdaten
- Prädiktive Modellierung im Gesundheitswesen
- Betrugserkennung im Finanzwesen mit regulierten Daten