Astuce de reparamétrisation

term_id: reparameterization_trick

Category: basic_concepts

Definition

L’astuce de reparamétrisation est une méthode fondamentale utilisée dans les autoencodeurs variationnels et d’autres modèles probabilistes. Elle permet aux gradients de circuler à travers les nœuds stochastiques en exprimant une variable aléatoire comme une fonction déterministe de ses paramètres et d’une variable de bruit indépendante.

Summary

Une technique qui sépare les variables stochastiques des paramètres apprenables pour permettre l’optimisation basée sur les gradients dans l’inférence variationnelle.

Key Concepts

  • Inférence variationnelle
  • Estimation de gradient
  • Nœuds stochastiques
  • Simulation différentiable

Use Cases

  • Entraînement des Autoencodeurs Variationnels (VAE)
  • Réseaux de neurones bayésiens
  • Modèles graphiques probabilistes

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related