Kỹ thuật tái tham số hóa

term_id: reparameterization_trick

Category: basic_concepts

Definition

Kỹ thuật tái tham số hóa là một phương pháp cơ bản được sử dụng trong các bộ mã hóa giải mã biến phân (VAE) và các mô hình xác suất khác. Nó cho phép gradient lan truyền qua các nút ngẫu nhiên bằng cách biểu diễn một biến ngẫu nhiên dưới dạng một hàm xác định của các tham số có thể học được và một biến nhiễu độc lập.

Summary

Một kỹ thuật tách các biến ngẫu nhiên khỏi các tham số có thể học được, cho phép tối ưu hóa dựa trên gradient trong suy luận biến phân.

Key Concepts

  • Suy luận biến phân
  • Ước lượng gradient
  • Nút ngẫu nhiên
  • Mô phỏng khả vi

Use Cases

  • Huấn luyện Bộ mã hóa giải mã biến phân (VAE)
  • Mạng nơ-ron Bayes
  • Mô hình đồ thị xác suất

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related