Trucco di riparametrizzazione

term_id: reparameterization_trick

Category: basic_concepts

Definition

Il trucco di riparametrizzazione è un metodo fondamentale utilizzato negli autoencoder variazionali e in altri modelli probabilistici. Consente ai gradienti di fluire attraverso i nodi stocastici esprimendo una variabile casuale come una funzione deterministica dei suoi parametri apprendibili e di una variabile ausiliaria indipendente dai parametri.

Summary

Una tecnica che separa le variabili stocastiche dai parametri apprendibili per consentire l’ottimizzazione basata sui gradienti nell’inferenza variazionale.

Key Concepts

  • Inferenza Variazionale
  • Stima del Gradiente
  • Nodi Stocastici
  • Simulazione Differenziabile

Use Cases

  • Addestramento di Autoencoder Variazionali (VAE)
  • Reti Neurali Bayesiane
  • Modelli Grafici Probabilistici

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related