Reparametrisierungstrick

term_id: reparameterization_trick

Category: basic_concepts

Definition

Der Reparametrisierungstrick ist eine fundamentale Methode, die in variationalen Autoencodern und anderen probabilistischen Modellen verwendet wird. Er ermöglicht den Fluss von Gradienten durch stochastische Knoten, indem eine Zufallsvariable so ausgedrückt wird, dass sie deterministisch von den Parametern und einem unabhängigen Rauschterm abhängt.

Summary

Eine Technik, die stochastische Variablen von lernbaren Parametern trennt, um eine gradientenbasierte Optimierung in der variationalen Inferenz zu ermöglichen.

Key Concepts

  • Variationale Inferenz
  • Gradientenschätzung
  • Stochastische Knoten
  • Differenzierbare Simulation

Use Cases

  • Training von Variational Autoencodern (VAEs)
  • Bayessche Neuronale Netze
  • Probabilistische Graphische Modelle

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related