Reparameteriseringstricket

term_id: reparameterization_trick

Category: basic_concepts

Definition

Reparameteriseringstricket er en fundamental metode, der bruges i variational autoencoders og andre sandsynlighedsmodeller. Det tillader, at gradienter flyder gennem stokastiske noder ved at udtrykke en tilfældig variabel som en deterministisk funktion af dens parametre og en uafhængig støjvariabel.

Summary

En teknik, der adskiller stokastiske variable fra lærbare parametre for at muliggøre gradientbaseret optimering i variationel inferens.

Key Concepts

  • Variationel Inferens
  • Gradientestimering
  • Stokastiske Noder
  • Differentierbar Simulation

Use Cases

  • Træning af Variational Autoencoders (VAE’er)
  • Bayesianske Neuronetværk
  • Sandsynlighedsgrafiske Modeller

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related