再パラメータ化トリック

term_id: reparameterization_trick

Category: basic_concepts

Definition

再パラメータ化トリックは、変分オートエンコーダーや他の確率的モデルで使用される基本的な手法です。これは、確率変数を外部のパラメータ（通常は正規分布からのサンプリング）と決定論的な関数の組み合わせとして表現することで、確率的ノードを通って勾配を流すことを可能にします。これにより、逆伝播アルゴリズムを用いてモデルのパラメータを効率的に最適化できます。

Summary

確率変数と学習可能なパラメータを分離し、変分推論における勾配ベースの最適化を可能にする手法。

Key Concepts

  • 変分推論
  • 勾配推定
  • 確率的ノード
  • 微分可能シミュレーション

Use Cases

  • 変分オートエンコーダー（VAE）の学習
  • ベイズニューラルネットワーク
  • 確率的グラフィカルモデル

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related