Нормализация по слоям

term_id: layer_normalization

Category: basic_concepts

Definition

Нормализация по слоям стабилизирует обучение, уменьшая внутреннее ковариационное смещение, что особенно эффективно в архитектурах рекуррентных сетей и трансформеров. В отличие от пакетной нормализации, зависящей от статистики батча, она работает независимо от размера пакета.

Summary

Техника, нормализующая активации слоя нейронной сети по измерению признаков для каждого отдельного образца.

Key Concepts

  • Нормализация
  • Внутреннее ковариационное смещение
  • Модели трансформеров
  • Рекуррентные нейронные сети (RNN)

Use Cases

  • Обучение моделей трансформеров, таких как BERT
  • Стабилизация обучения RNN/LSTM
  • Глубокое обучение с малыми размерами батча

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related