Trik reparametryzacji

term_id: reparameterization_trick

Category: basic_concepts

Definition

Trik reparametryzacji to fundamentalna metoda stosowana w wariacyjnych autoenkoderach i innych modelach probabilistycznych. Pozwala ona na przepływ gradientów przez węzły losowe poprzez wyrażenie zmiennej losowej jako deterministycznej funkcji parametrów modelu oraz niezależnej zmiennej szumu.

Summary

Technika oddzielająca zmienne losowe od parametrów uczących się, umożliwiająca optymalizację opartą na gradientach w wnioskowaniu wariacyjnym.

Key Concepts

  • Wnioskowanie wariacyjne
  • Estymacja gradientu
  • Węzły losowe
  • Różniczkowalna symulacja

Use Cases

  • Trening wariacyjnych autoenkoderów (VAE)
  • Sieci neuronowe Bayesa
  • Probabilistyczne modele graficzne

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related