Truco de reparametrización

term_id: reparameterization_trick

Category: basic_concepts

Definition

El truco de reparametrización es un método fundamental utilizado en autoencoders variacionales y otros modelos probabilísticos. Permite que los gradientes fluyan a través de nodos estocásticos expresando una variable aleatoria como una función determinista de parámetros entrenables y una variable de ruido independiente.

Summary

Una técnica que separa las variables estocásticas de los parámetros aprendibles para permitir la optimización basada en gradientes en la inferencia variacional.

Key Concepts

  • Inferencia Variacional
  • Estimación de Gradientes
  • Nodos Estocásticos
  • Simulación Diferenciable

Use Cases

  • Entrenamiento de Autoencoders Variacionales (VAE)
  • Redes Neuronales Bayesianas
  • Modelos Gráficos Probabilísticos

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related