Reparameteriseringstricket

term_id: reparameterization_trick

Category: basic_concepts

Definition

Reparameteriseringstricket är en grundläggande metod som används i variationella autoenkodrar och andra sannolikhetsmodeller. Den gör det möjligt för gradienter att flöda genom stokastiska noder genom att uttrycka en slumpmässig variabel som en deterministisk funktion av dess parametrar och en oberoende brusvariabel.

Summary

En teknik som separerar stokastiska variabler från lärbara parametrar för att möjliggöra gradientbaserad optimering i variationell inferens.

Key Concepts

  • Variationell inferens
  • Gradientberäkning
  • Stokastiska noder
  • Difierbar simulering

Use Cases

  • Träning av Variationella Autoenkodrar (VAE)
  • Bayesianska Neurala Nätverk
  • Sannolikhetsgrafiska Modeller

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related