Reparametrizační trik

term_id: reparameterization_trick

Category: basic_concepts

Definition

Reparametrizační trik je základní metoda používaná v variabilních autoenkodérech a jiných pravděpodobnostních modelech. Umožňuje tok gradientů skrze stochastické uzly tím, že vyjadřuje náhodnou proměnnou jako deterministickou funkci parametrů a náhodného šumu.

Summary

Technika, která odděluje stochastické proměnné od naučitelných parametrů, aby umožnila optimalizaci založenou na gradientu v variabilní inferenci.

Key Concepts

  • Variabilní inference
  • Odhad gradientu
  • Stochastické uzly
  • Diferencovatelná simulace

Use Cases

  • Výcvik variabilních autoenkodérů (VAE)
  • Bayesovské neuronové sítě
  • Pravděpodobnostní grafické modely

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related