Trick-ul de reparametrizare

term_id: reparameterization_trick

Category: basic_concepts

Definition

Trick-ul de reparametrizare este o metodă fundamentală utilizată în autoencoderii variaționali și alte modele probabilistice. Acesta permite propagarea gradientelor prin nodurile stochastice exprimând o variabilă aleatoare ca o funcție deterministă a parametrilor modelului și a unei variabile de zgomot independente.

Summary

O tehnică care separă variabilele stochastice de parametrii învățabili pentru a permite optimizarea bazată pe gradient în inferența variațională.

Key Concepts

  • Inferență Variațională
  • Estimarea Gradientului
  • Noduri Stochastice
  • Simulare Diferențiabilă

Use Cases

  • Antrenarea Autoencoderilor Variaționali (VAE)
  • Rețele Neurale Bayesiene
  • Modele Grafice Probabilistice

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related