Újraparaméterezés trükk

term_id: reparameterization_trick

Category: basic_concepts

Definition

Az újraparaméterezés trükk egy alapvető módszer, amelyet a variációs autoenkóderekben és más valószínűségi modellekben használnak. Lehetővé teszi, hogy a gradiens áramoljon a sztochasztikus csomópontokon keresztül, egy véletlenszerű változót úgy fejezve ki, hogy az függetlenítse azt a paraméterektől, így a deriválás lehetségesvé válik.

Summary

Egy technika, amely szétválasztja a sztochasztikus változókat a tanulható paraméterektől, lehetővé téve a gradiens alapú optimalizálást a variációs következtetés során.

Key Concepts

  • Variációs következtetés
  • Gradiensbecslés
  • Sztochasztikus csomópontok
  • Differenciálható szimuláció

Use Cases

  • Variációs autoenkóderek (VAE) tanítása
  • Bayesiann neurális hálózatok
  • Valószínűségi gráfmodellek

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related