Трюк репараметризации

term_id: reparameterization_trick

Category: basic_concepts

Definition

Трюк репараметризации — это фундаментальный метод, используемый в вариационных автокодировщиках и других вероятностных моделях. Он позволяет градиентам проходить через стохастические узлы путем выражения случайной переменной как детерминированной функции ее параметров и независимого шума.

Summary

Метод, разделяющий стохастические переменные и обучаемые параметры для обеспечения градиентной оптимизации в вариационном выводе.

Key Concepts

  • Вариационный вывод
  • Оценка градиентов
  • Стохастические узлы
  • Дифференцируемое моделирование

Use Cases

  • Обучение вариационных автокодировщиков (VAE)
  • Байесовские нейронные сети
  • Вероятностные графовые модели

Code Example

1
2
3
4
5

import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Related