Hạ gradient ngẫu nhiên riêng tư vi phân
term_id: differentially_private_stochastic_gradient_descent
Category: training_techniques
Definition
DP-SGD là một biến thể của Stochastic Gradient Descent được thiết kế để bảo vệ quyền riêng tư của dữ liệu huấn luyện. Nó hoạt động bằng cách cắt giảm đóng góp gradient của từng mẫu để giới hạn độ nhạy, sau đó thêm nhiễu Gaussian.
Summary
Một thuật toán tối ưu hóa sửa đổi SGD tiêu chuẩn bằng cách cắt giảm gradient và thêm nhiễu để đảm bảo mô hình đã huấn luyện tuân thủ các ràng buộc riêng tư vi phân.
Key Concepts
- Cắt giảm gradient
- Tiêm nhiễu Gaussian
- Lấy mẫu lại mẫu
- Tính toán quyền riêng tư
Use Cases
- Huấn luyện mạng nơ-ron sâu trên dữ liệu người dùng riêng tư
- Mô hình dự đoán trong chăm sóc sức khỏe
- Phát hiện gian lận tài chính với dữ liệu được quy định