Uudelleenparametrisointitekniikka

term_id: reparameterization_trick

Category: basic_concepts

Definition

Uudelleenparametrisointitekniikka on perustavanlaatuinen menetelmä, jota käytetään variatiivisissa autoenkoodereissa ja muissa todennäköisyysmalleissa. Se mahdollistaa gradienttien virtaamisen stokastisten solujen läpi ilmaiseamalla satunnaisen muuttujan

Summary

Tekniikka, joka erottaa satunnaismuuttujat opettavista parametreista mahdollistaakseen gradienttipohjaisen optimoinnin variatiivisessa johtopäätöksenteossa.

Key Concepts

  • Variatiivinen johtopäätöksenteko
  • Gradienttiestimaatti
  • Stokastiset solut
  • Differentoituva simulointi

Use Cases

  • Variatiivisten autoenkoodereiden (VAE) koulutus
  • Bayesilaiset neuroverkot
  • Todennäköisyyksien graafiset mallit

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related