Reparameterisatietrick

term_id: reparameterization_trick

Category: basic_concepts

Definition

De reparameterisatietrick is een fundamentele methode die wordt gebruikt in variatiële auto-encoders en andere probabilistische modellen. Het stelt gradients in staat door stochastische knooppunten te stromen door een willekeurige variabele uit te drukken als een differentieerbare functie van deterministische parameters en een onafhankelijke ruisvariabele.

Summary

Een techniek die stochastische variabelen scheidt van leerbare parameters om gradientgebaseerde optimalisatie te mogelijk maken in variatiële inferentie.

Key Concepts

  • Variatiële Inferentie
  • Gradient-schatting
  • Stochastische knooppunten
  • Differentieerbare simulatie

Use Cases

  • Het trainen van Variatiële Auto-Encoders (VAE’s)
  • Bayesiaanse neurale netwerken
  • Probabilistische grafische modellen

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related