Reparameteriseringsteknikken
term_id: reparameterization_trick
Category: basic_concepts
Definition
Reparameteriseringsteknikken er en grunnleggende metode brukt i variational autoencoders og andre sannsynlighetsmodeller. Den lar grastrømme gjennom stokastiske noder ved å uttrykke en tilfeldig variabel som en deterministisk funksjon av parametere og en uavhengig støyvariabel.
Summary
En teknikk som skiller stokastiske variabler fra lærbar parametere for å muliggjøre gradientbasert optimering i variational inferens.
Key Concepts
- Variational Inferens
- Gradientestimering
- Stokastiske Noder
- Differensiabel Simulering
Use Cases
- Trening av Variational Autoencoders (VAE)
- Bayesianske Neuronettverk
- Sannsynlighetsgrafiske Modeller
Code Example
import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon # Reparameterized sampling