Trik Reparameterisasi

term_id: reparameterization_trick

Category: basic_concepts

Definition

Trik reparameterisasi adalah metode fundamental yang digunakan dalam autoencoder variasional dan model probabilitas lainnya. Teknik ini memungkinkan gradien mengalir melalui node stokastik dengan mengekspresikan variabel acak sebagai fungsi deterministik dari parameter yang dapat dipelajari dan variabel noise independen.

Summary

Sebuah teknik yang memisahkan variabel stokastik dari parameter yang dapat dipelajari untuk memungkinkan optimasi berbasis gradien dalam inferensi variasional.

Key Concepts

  • Inferensi Variasional
  • Estimasi Gradien
  • Node Stokastik
  • Simulasi Diferensiabel

Use Cases

  • Pelatihan Autoencoder Variasional (VAE)
  • Jaringan Saraf Bayesian
  • Model Grafik Probabilistik

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related