Дифференциально приватный стохастический градиентный спуск
term_id: differentially_private_stochastic_gradient_descent
Category: training_techniques
Definition
DP-SGD — это вариант стохастического градиентного спуска, разработанный для защиты конфиденциальности обучающих данных. Он работает путем ограничения вклада градиента каждого образца для снижения чувствительности, а затем добавления гауссова шума.
Summary
Алгоритм оптимизации, модифицирующий стандартный SGD путем обрезки градиентов и добавления шума для обеспечения соблюдения ограничений дифференциальной приватности обучаемой модели.
Key Concepts
- Обрезка градиентов
- Внедрение гауссова шума
- Выборка образцов (Subsampling)
- Учет конфиденциальности (Privacy Accounting)
Use Cases
- Обучение глубоких нейронных сетей на частных пользовательских данных
- Прогнозное моделирование в здравоохранении
- Выявление мошенничества в финансах при работе с регулируемыми данными