Reparameteriseringsteknikken

term_id: reparameterization_trick

Category: basic_concepts

Definition

Reparameteriseringsteknikken er en grunnleggende metode brukt i variational autoencoders og andre sannsynlighetsmodeller. Den lar grastrømme gjennom stokastiske noder ved å uttrykke en tilfeldig variabel som en deterministisk funksjon av parametere og en uavhengig støyvariabel.

Summary

En teknikk som skiller stokastiske variabler fra lærbar parametere for å muliggjøre gradientbasert optimering i variational inferens.

Key Concepts

  • Variational Inferens
  • Gradientestimering
  • Stokastiske Noder
  • Differensiabel Simulering

Use Cases

  • Trening av Variational Autoencoders (VAE)
  • Bayesianske Neuronettverk
  • Sannsynlighetsgrafiske Modeller

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related